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) Einrichtung zum Oberwachen des AuBenraums eines Fahrzeugs 

) Einriohtung zum Oberwachen des AuSenraumes eines 
Fahrzeugs, das fiber eine Fahrspur auf einer StraBe fahrt die 
durch ausgedehnte weiBe Unlen definiert isU sufweisend: 
mehrere Kameras (10), die Biider des FahrzeugauSenraums 
aufnehmen und Bildsignale erzeugen, die dlese Biider 
anzeigen; und 

eine Bildverarbertungseinrichtung (20), die abhangig von den 
Bildsignalen eine Distanzverteilung bezuglleh des fahrzeugs 
ermlttelt, dadureh gekennzeichnet, 

daB die Bildverarbettungseinrichtung (20) ein dlese Distanz- 
varteilung anzeigendes Dietanzblld erzeugt, 
daB aina StraBen- und Obiakt-Detektorelnrichtung (100) 
vorgesehen ist die auf der Gmndiage des Distanzblldes 
dreidimenslonale Koordinatendaten (X, Y, Z, Di) in einem auf 
ein Koordinatensystem des Fahrzeugs bezogenen realen 
Raum berechnet, und 

daB eine StraBe nverlaufsform-Dotektoreinrichtung (110) 
vorgesehen Ist, die eine StraBenverlaufsform auf der Gmnd- 
iage der dreldimensionalen Koordinatendaten von Abschnit- 
ten der weiBen Union berechnet. 
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Besdireibung 



Die vorliegende Ertindung betrifft eine Einrichtung 
zum Oberwachen des AiiBenraumes eines Fahrzeugs 
und geht aus von elner Einrichtung rait den Merkmalen 
im Oberbegriff des Patentansprucli^ 1. 

In der heutigen GeseUschaft sind infolge der Bequem- . 
lichkeit, die Kraftfahrzeuge fUr den Transport von Ge- 
genstanden und Personen bieten, sehr viele Fahrzeuge 
im Einsatz. Dementsprechend wurden in letzter Zeit 
zahlreiche, automatisch Unfalle vermeidende Systeme 
entwickelt Diesbeztiglich wurden ublicherweise Tech- 
nologien entwickelt, die, ohne die exzellenten Eigen- 
schaften von Autos zu opfem, diese Fahigkeit der auto- 
matischen Unf allvermeidung aufweisen. 

Um automatisch eine Kollision zwischen Fahrzeugen 
und einem jeweiligen Objekt zu vermeiden, ist es sehr 
wichtig, ein Hindemis oder eine StSrung auf dem Fahr- 
weg des Fahrzeugs zu detektieren. Femer ist es erfor- 
derlich, die vom Fahrzeug verfolgte Route zu erkennen 
und die Position des Objekts auf der StraBe zu erfassen, 
Und demgem^ ist entscheidend, zu ermittehi, ob der 
StraBenzustand gefahrlich ist oder nicht Ist beispiels- 
weise eine StraBe kurvig oder gekriimmt, ist es nStig, 
das Hindernis langs der Kurve zu detektieren. 

Es sind bereits derartige Systeme entwickelt worden, 
die das Hindernis unter Verwendung von Radar (Strah- 
lungsdetektion und Entfemungsmessung), von Ultra- 
schallwellen, einem Laser (Lichtverstarkung durch er- 
zwungene Strahlungsemission) usw. zu erfassen. Jedoch 
kdnnen derartige Systeme nur ein in einer speziellen 
Richtung vorhandenes Objekt detektieren, nicht aber 
die StraBenform noch die positionelle Beziehung zwi- 
schen dem Hindemis und der StraBe. 

DemgemaB wird in letzter Zeit ein DistanzmeBsy- 
stem als effektives Verfahren eingesetzt. Das System 
bildet eine Ansicht auBerhalb des Fahrzeugs durch eine 
Abbildungsvorrichtung wie eine am Fahrzeug ange- 
brachte Kamera ab, um dann die aufgenommen Bilder 
so zu verarbeiten, daB ein Objekt wie ein anderes Fahr- 
zeug und die StraBenform ermittelt werden, um eine 
Distanz zwischen dem Fahrzeug und dem Objekt zu 
gewinnen. 

Die Abbildungen verwendenden Erkennungs/Di- 
stanzmeBsysteme zerfallen insgesamt in zwei technische 
Kategorien. Eine besteht darin, die Distanz zwischen 
dem fahrenden Auto und dem Objekt zu ermittehi, in- 
dem der Relativabstand zwischen der Kameraposidon 
und dem Bild einer einzelnen Kamera gemessen wird 
Das andere basiert auf einem sogenannten stereosko- 
pischen Verfahren, das die Distanz zwischen dem Fahr- 
zeug und dem Objekt durch das Prinzip einer trigono- 
metrischen Bestimmung oder Dreiecksberechnung ge- 
wlnnt, nachdem mehrere Bilder bd verschiedenen se- 
quentiell geinderten Positionen durch eine einzehie 
Oder mehrere Kameras aufgenommen wurden. 

Als eine Technologie zur Detektion eines Hindenus- 
ses Oder der StraBeidorm aus einer zweidimensionalen 
Darstellung der mittels einer einzelnen Kamera aufge- 
nommenen Abbildung offenbart die japanische offenge- 
legte Patentanmeldung Nr. 1-242916 (1989) erne Tech- 
nik, in der eine Femsehkamera in einem GehHuse nahe 
des Mittenabschnitts der Oberseite der Frontscheibe 
montiert ist, wobei das Hindemis und die weiBe Linie 
auf der StraBe unter Verwendung der hiermit gewonne- 
nen Bilder abhangig vom Leuchtdichteverteilungsmu- 
ster auf einer bestimmten Beobachtungslinie im Bild 
und dem zweidimensionalen Leuchtdichtemuster detek- 



tiert werden, und die dreidimensionale Position der wei- 
Ben linie und des Hindemisses werden abhSngig von 
Parametem wie der Montageposition oder eines Rich- 
ttmgs- und Sichtf eldes von TV Kameras abgeschatzt 

5 Jedoch beinhaltet ein tatsSchliches Bild auf der StraBe 
derart zahlreiche Objekte wie GebSlude und Baimie in 
der Umgebung, daB es schwierig ist, die verschiedenen 
Objekte wie ein vorausfahrendes Fahrzeug, ein entge- 
genkonmiendes Fahrzeug, emen FuBganger, einen Tele- 

10 fonmasten oder Lichtmasten und eine weiBe Linie fiber 
die StraBe hinweg prazlse aus einem zweidimensionalen 
Bild (Merkmalsmuster) zu ermitteln. So gibt es Umstan- 
de, bei denen derartige Technologien nicht mit ausrei- 
chender Zuverlassigkeit in die Praxis umsetzbar sind. 

15 Femer besteht das Problem, daB eine Abschatzung der 
dreidimensionalen Position einen groBen Fehler bein- 
haltet, wenn die dreidimensionale Position einer weiBen 
Linie oder des Hindemisses aus einem Parameter der 
Femsehkamera abgeschatzt werden und die StraBe im- 

20 eben ist, die StraBe eine Steigung oder ein Gefalle auf- 
weist und das Fahrzeug einer Nickfaewegung unterliegt. 

Andererseits kann eine prazisere Distanz anhand ei- 
ner relativ groBen Diskrepanz der Position desselben 
Objekts in iinken und rechten Bildem durch die Technik 

25 des stereoskopischen Verfahrens zur Distanzgewin- 
nung auf der Grundlage der trigonometrischen Berech- 
nung aus mehreren Bildem bestimmt werden. 

Beispielsweise offenbart die japanische offengelegte 
Patentanmeldung Nr. 59-197816 (1984) ein Verfahren 

30 zum Berechnen einer dreidimensionalen Position eines 
Hindemisses unter Verwendung des trigonometrischen 
Prinzips, wobei zwei Ferasehkameras am vorderen Be- 
reich des Fahrzeugs angebracht werden, das Hindemis 
mittels eines zweidimensionalen Leuchtdichtevertei- 

35 lungsmusters bezuglich der jeweiligen Bilder jeder 
Femsehkamera ermittelt wird und die positionelle Dis- 
krepanz oder Abweichung des Hindemisses in den bei- 
den Bildem gewonnen wird. Jedoch ist es bei diesem 
Stand der Technik schwierig, das Hindemis fur die je- 

40 weiligen Bilder zu detektieren. So weist auch dieses Sy- 
stem keine ausreichende Zuverl^sigkeit auf. 

Femer sind gem§B den beiden japanischen Patent- 
schriften Nr. 48-2979 (1973) und Nr. 55-27707 (1980) 
zwei Femsehkameras links bzw. rechts vor dem Fahr- 

45 zeug befestigt Jedes Bild wird raumlich so differenziert, 
daB nur die Punkte eines Wechsels von hell nach dunkel 
extrahiert werden und das von einer Kamera abgetaste- 
te Bild fur eine Oberlagerung des anderen Bildes um 
eine vorbestimmte Zeit verz5gert wird, wobei so ein 

50 dreidimensionales Objekt nur aus der Charakteristik 
der Helligkeitsanderung des dreidhnensionalen Objekts 
von Abschnitten, die einander in den beiden Bildem 
entsprechen, extrahiert wird. Jedoch sind die wirklichen 
Bilder kompliziert. Beinhaltet Z.B. ein Bild mehrere 

55 dreidimensionale Objekte, erscheint erne groBe Anzahl 
von Punkten mit Helligkeitsanderung, so daB es unmdg- 
lich wird, eine entsprechende Beziehung beztk^ch meh- 
rerer dreidimensionaler Objekte zu gewinnen. So ist es 
auch bei ctiesen Technologien schwer, das Objekt prazi- 

60 sezu detektieren. 

Wie oben erlSutert, ist es unter tatsdchlichen, kompli- 
2derten Umstanden auBerordentlich schwierig, pi^ase 
das dreidimenaonale Objekt, die positionelle Be^ehung 
oder die Form aus der Abbildung zu ermitteln. 

65 In der US 4916302 ist in einem GerSt zur Verhinde- 
rung von z. B. FahrzeugkoUisionen zur Vermeidung der 
Notwendigkeit, optische MeBeinnchtungen f Ur ein Ste- 
reoverf ahren zur Ennittlung der Objektdistanzen zu ei- 
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nem das Gerat tragenden Fahrzeug zu verschwenken, 
urn Objekte aus unterschiedlichen Richtungen zu erfas- 
sen, vorgeschlagen worden, zwei CCD-MeBfl^chen zu 
verwenden. Diese Flachen sind in Empfangsbldcke ent- 
sprechend fiir unterschiedliche Richtungen unterteilt In 
jedem Block sind einige Empfangselemente fUr ein 
Standardsichtfeld und einige fOr ein Bezugssichtfeld 
vorgesehen^ urn uber die Korrelation eines Standard- 
sichtf ekles einer CCD*Me6fl§che xnit dem Bezugssicht- 
feld der anderen MefiflEche die Distanz eines in beiden 
Fldchen tiegenden Objekts vom Fahrzeug ennitteto zu 
kdnnen. 

Wie bereits dargelegt, ist es jedoch schwierig, eine 
komplexe Szenerie von Objekten (diverse Fabrzeuge, 
Baume, weiBe StraBenJinien usw.) vor dem fahrenden 
Fahrzeug, die einander uberlagert sind, zuveriassig zu 
differenzieren, v/obei z. B. auch ein sich andemder Stra- 
fienverlauf berGcksichtigt wird. 

In der US 4985847 wird ein aus einer Zeiie von Emp- 
fangselementen bestehender optischer Sensor, der auf 
einem Fahrzeug schrag nach unten gestellt angebracht 
ist, dazu benutzt, um ein *m der Sensorsichtlinie liegen- 
des Objektbild aus horizontalen oder vertikalen Ele- 
menten, das die Sensorzeile schneidet, aufzunehmen. 
Durch diese in dieser Schrift erfindungswesentliche Nei- 
gung des Sensors ist es moglich, daB ein groBer Teil der 
ein Objekt aufbauenden Linienelemente die eindimen- 
sionale Sensorzeile schneidet, und so die Objektkanten 
eines einzigen voraus iiegenden Objekts in der geraden 
Fahrzeugmitte festzustellen und hieraus Abstand und/ 
oder Ausdehnung des Objekts zu ermitteln. In einem 
alternativen Ausfahrungsbeispiel der US 4985847 sollen 
Hindemisse in Form von Fahrbahnunebenheiten detek- 
tlert werden, die sich im wesentiichen ais Objekte dar- 
stelien, welche aus angen^hert horizontalen Linien auf 
der StraBe aufgebaut sind Audi hier ist die SchriLgstel- 
lung der Sensorzeile entscheidend, denn zuvor konnten 
solche OberfUlchenindeningen z. B. be! nasser StraBe 
nicht zuverlassig erf aBt werden. Es wird die Helligkelts- 
variation des aufgenommenen Linienbildes ermittelt 
und hieraus z. B. eine Unebenheit der StraBe detektiert 
Dadurdb, daB man die Bezugsebene des Detektorele- 
ments ermittelt, das diese Linien-Unebenheitsinforma* 
tion detektiert, kann durch Triangulation die Entfer- 
nung der Unebenheit zum Vorderrad des Fahrzeugs 
ermittelt werden- Durch Farbanalyse des aufgenonmie- 
nen lichts wird femer die tatslLchliche Unebenheit von 
mdglichen Reflexionseffekten des Lichts einer Strafien- 
beleuchtung usw. unterschieden. UnabhSngig hiervon 
wird die Hdhe des Fahrzeugsschwerpunktes selbst mit- 
tels Fahrzeughdhensensoren und aus dem Radstand be- 
stimmt, und wenn die erfaBte Unebenheit ausreichend 
nahe herangekommen ist, wird die AufhSngung des 
Fahrzeugs so geregelt, daB die St6Be durch die Uneben- 
heit abgefangen werden, 

Somit wird zwar die OberflSchenbeschaffenheit der 
StraBe, d h. die Oberfiachenform der StraBe. ermittelt, 
und es werden die Koorduiaten eines OberflSchenunre- 
gelmaBigkeits-Punktes auf der zweictoiensionalen Stra- 
Benebene bestimmt, jedoch findet keine Beurteilung der 
Straflenverlaufsform statt 

Die Kombination der beiden obigen US-Patente fOhrt 
zu einer Einrichtung mit schraggestellten Sensorflachen 
und einer Regelung der Fahrzeugaufhangung in Abhan- 
gigkeit von unmittelbar vor dem Fahrzeug direkt in 
dessen Fahrspur detektierten StraBenimebenheiten. 
Hierdurch wird jedoch die Schwierigkeit der Erfassung 
einer komplexeren Szenerie mit uberlagerten Objekten 



und der zuverlassigeren Bestimmung der Objekte fur 
einen solchen Fall nicht verbessert 

Diese Erfindung wurde vor dem Hintergrund obiger 
Umstande getatigt und hat zur Aufgabe, eine gattungs- 
5 gemaSe Einrichtung so zu verbessem, daB diese imstan- 
de ist, ein Distanzbild zu erzeugen und hieraus sowohl 
dreidimensionale Objekte als auch die StraBenverlaufs- 
form mit hoher ZuverlSssigkeit zu ermittehL 

Diese Aufgabe wird durch den Gegenstand des Pa- 
10 tentanspruchs 1 geldst Vorteilhafte Weiterbildungen 
sind in den Unteranspruchen gekennzeichnet 

Die erfindungsgem^Be Ldsung besteht darin, daB das 
System eme StraBenform erkennt, nachdem die Stra- 
Benform diu-ch mehrere Kameras abgebildet worden ist, 
15 die Distanzverteilung der Abbildungen berechnet wur- 
de und dann eine dreidimensionale Position von weiBen 
Linien der StraBe, die abgebildet worden ist, ermittelt 
wird 

Hieraus ergeben sich entscheidende Vorteile. So ist es 

20 auf diese Weise moglich, durch Ausnutzen dreidimen- 
sionaler Positionsinformation der weiBen Linien diese 
von dreidimensionalen Objekten zuverlassig zu trennen. 
Mit anderen Worten kann einerseits die dreidimensio- 
nale Positionsinformation der Objekte unverfalscht 

25 durch die diesen Qberlagerten weiBen Linien sauber ge- 
trennt werden, und andererseits kann aus den weiBen 
Linien wiederum der sich gegebenenfalls stark andem- 
de Verlauf der StraBe bestimmt werden- Erst dann, 
wenn sowohl die Positionen der jeweils erfaBten Objek- 

30 te als audi die Positionen der Fahrbahn, d h. deren Ver- 
lauf, genau vorliegen, konnen MaBnahmen fiir die Ver- 
meidung einer mdglidien Kollision getrof f en werden. 

Auch die UnteransprQche liefem eine Reihe von wei- 
teren Vorteilen. So ist es gemHB der Transformation der 

35 dreidimensionalen Darstellungen auf zweidimensiona- 
len Darstellungen unter bestimmten Berilcksichtigun- 
gen moglich, sowohl fiir die weiBen Linien als auch die 
Objekte die Datenmenge auf ein handhabbares MaB zu 
reduzieren und die Verarbeitungszeit zu verkiirzen. 

40 Dieser Vorteil wird weiter verbessert durch die speziel- 
le Bildung der dreidimensionalen linearen Elemente, die 
fur den StraBenverlauf unter Beriicksichtigimg mdgli- 
cher StraBenbiegungen durch Aufteilung gewonnen 
werden. 

45 Aliexn durch Heranziehen der Hdhe kdnnen in der^ 
dreidimensionalen Darstellung von Objekten und wei- 
Ben Linien beide durch eine wenig aufwendige verarbei- 
tungstechnische MaBnahme unterschieden werden, und 
es konnen z. B. auch Steine, Baume und Pflanzen von 

50 den linearen Elementen einer weiBen Linie mittels ein- 
facher Kriterien unterschieden werden. Hierzu ist die 
unterschiedliche Wichtung im dreidimensionalen Fen- 
ster und insbesondere an dem Randabschnitt geeignet. 
Zusatzlich wird vorzugsweise noch die Parallelitat der 

55 linken und rechten ermittelten linearen Elemente fiir die 
weiBen Linien herangezogen, um die Fehlergenauigkeit 
weiter herabzusenken. Bei der Ermittlung der Objekte 
kann der RauscheinfluB durch Einfiihren eines Beurtei- 
lungswertes reduziert werden. Bei der, Festlegung des 

60 dreidimensionalen Fensters wird ermittelt, wie das drei- 
dimensionale Fenster auf einem zweidimensionalen Bild 
erscheint, wobei so vorgegangen wird daB nur Daten 
innerhalb des zweidimensionalen Fensters, das durch 
die Fensterkonturlinien definiert ist, auch Daten sind, 

65 die zu erfassen sind Auf diese Weise ist es nicht nur 
moglich, die Dateninenge zu beschranken, sondem auch 
die Objekte einwandfrei voneinander zu trennen. Da die 
Daten femer noch die Distanzwerte beinhalten, ist es 



E 43 08 776 C2 



6 



auch moglich, in einer ausgesprochen komplexen Sze- 
nerie mit zahlreichen hintereinanderliegenden Objek- 
ten die einander uberlappenden Objekte an Hand ihrer 
Distanzunterschiede zu differenzieren. 

GemaB dem grundlegenden Konzept der Erfindung 
wird eine Naherung angewandt, bei der mehrere Bilder 
eines Objekts in einem festgeiegten Bereich auBerhalb 
eines Fahi^euges aus voneinander verschiedenen Posi- 
tionen aufgenommen werden, um dann die mehreren 
Abbildungen mit einer hohen Geschwindigkeit zu ver- 
arbeiten, um hierbei eine Distanzverteilxing iiber die ge- 
samten Bilder bzw. Darstellungen, und um die dreidi- 
mensionalen Positionen jeweiliger Abschnitte des Ob- 
jekts entsprechend der Information der Distanzvertei- 
lung zu berechnen, um wiederum so die StraBenform 
und mehrere dreidimensionale Objekte mit einer hohen 
Geschwindigkeit unter Ausnutzung der Information der 
dreidimensionalen Position zu ermitteln- 

Gem^ einem weiteren Aspekt wird eine Losung an- 
gewandt, bei der im Basiskonzept zur Beurteilung der 
Wahrscheinlichkeit einer Kollision zwischen den detek- 
tierten dreidimensionalen Objekten und einem Fahr- 
zeug auf der Monitorseite diese Wahrscheinlichkeit un- 
ter Berucksichtigung der Fahrtroute des betroffenen 
Fahrzeugs abgeschatzt wird. 

Wie oben beschrieben» wird eine Distanzverteilung 
uber die gesamte aufgenommene Bilddarstellung rait 
hoher Geschwindigkeit aus dem aufgenommenen Bild 
ermittelt, wodurch es moglich wird, die StraBenform wie 
den Endbereich einer StraBe oder einer weiBen Linie, 
Mittelstreifen usw. und eine dreidimensionale Position 
eines dreidimensionalen Objektes in der Umgebung 
prazise tmd mit hoher Zuverlassigkeit zu bestimmen. 
Dementsprechend kann das erfmdungsgemifie System 
in vorteilhaf ter Weise das Umgehen eines Hindemisses 
eines hdheren Niveaus uber der Strafienoberflache be- 
werkstelligen, wobei Position und/oder Bewegung eines 
zu vermeidenden Hindemisses beriicksichtigt wird So 
kdnnen auch unter BerOcksichtigung des Faluzustandes 
des Monitorfahrzeuges zuverlassig geeignete MaBnah- 
men zur Vermeidimg einer Kollision ergrifiPen werden. 

Im folgenden wird die Erfindimg anhand der Zeich- 
nungen n^er erliutert Es zeigen 

Fig. 1 eine schematische Darstellung der erfindungs- 
gemiiBen Einrichtung; 

Flg» 2 eine Anslcht von vom auf ein Fahrzeug, an dem 
die ^nrichtung eines Ausfuhrungsbeispiels angebracht 
ist; 

Fig. 3 ein Blockschaltbild, das den Aufbau des erfin- 
dungsgemaBen Systems zeigt; 

Fig. 4 euie eridarende Darstellung* ctie die Beaehtmg 
zwischen einer Kamera und einem Objekt im ersten 
AusfGhrungsbeispiel zeigt; 

Fig. 5 ein Schaltungsdiagramm, das eine stereosko- 
pische Bildverarbeitungsvorrichtung aus dem ersten 
Ausfuhrungsbeispiel zeigt; 

Fig. 6 eine veranschaulichende Darstellung, die eine 
Schaltung zur Berechnung einer dty-block-Distanzbe- 
rechnungsschaltung zeigt; 

Fig. 7 ein Blockschaltbild, das eine Minimalwertde- 
tektorschaltung im System zeigt; 

Fig. 8 eine veranschaulichende Darstellung, die ein 
beispielhaftes Bild zeigt, das mittels einer am Fahrzeug 
angebrachten CCD-Kamera aufgenommen wurde; 

Fig. 9 eine veranschaulichende Darstellung eines Di- 
stanzbildes vom System; 

Fig. 10 eine Ansicht von oben auf ein Fahrzeug im 
System; 



Fig. 1 1 eine seitliche Ansicht auf das im System vor- 
gesehene Fahrzeug; 

Fig. 12 ein Blockschaltbild mit den Funktionen einer 
StraBen- und dreidimensionalen (Objekt)Detektorvor- 
5 richtung; 

Fig. 13 eine veranschaulichende Darstellung, die ein 
im System benutztes StraBenmodell zeigt; 

Fig. 14 eine veranschaulichende Darstellung, die die 
Form eines dreidimensionalen Fensters zeigt; 
10 Fig. 15 eine veranschaulichende Darstellung, die die 
Form eines zweidimensionalen Fensters zeigt; 

Fig. 16 erne veranschaulichende Darstellung, die ein 
lineares Element und einen Abweichungsbetrag zeigt; 

Fig. 17 eine veranschaulichende Darstellung, die die 
15 Beziehung zwischen einem Abweichungsbetrag von 
Daten und Wichtungskoef fizienten zeigt; 

Fig. 18 eine veranschaulichende Darstellung, die ein 
Beispiel einer vom System erfaBten StraBenform zeigt; 

Fig. 19 eine veranschaulichende Darstellung, die ein 
20 Verfahren zum Atiftellen eines Bildes im System zeigt; 

Fig. 20 eine veranschaulichende Darstellung, die die 
Beziehung zwischen dem zu erfassenden Objekt und 
einem Histogramm zeigt; 

Hg. 21 eine veranschaulichende Darstellung, die das 
25 Detektionsergebnis des Bereichs zeigt, in dem ein Ob- 
jekt vorliegt,sowie eine detektierte Distanz; 

Fig. 22 eine veranschaulichende Darstellung, die eine 
Form eines dreidimensionalen Fensters zeigt; 

Fig. 23 eine veranschaulichende Darstellung, die eine 
30 Form eines zweidimensionalen Fensters zeigt; 

Fig. 24 eine veranschaulichende Darstellung, die Da- 
ten zeigt, die die Kontiu* eines Objekts bilden; 

Fig. 25 eine veranschaulichende Darstellung, die ein 
Beispiel eines Konturbildes eines Objekts und einer er- 
as faBten auBeren Dimension Oder Ausdehnungim System 
zeigt; 

Fig. 26 ein FiuBdiagnunm, das die Funktion eines 
Ausfuhrungsbeispiels der Stereoskopbildverarbeitirngs- 
vorrichtung zeigt; 
40 Fig. 27 eine veranschaulichende Darstellung* die die 
Reihenfolge der Speicherung in einem Sclueberegister 
zeigt; 

Fig. 28 eine Zeitsteuertabelle, die die Funktion einer 
city-block-Distanzberechnungsschaitung zeigt; 
45 Fig. 29 eine Zeitsteuertabelle^ die d&e Funktion eines 
Systemabsdtoitts zur AbweichtmgsgrdBenbestimmung 
zeigt; 

Fig. 30 eine Zeitsteuertabelle, die die Funktion der 
Stereoskopbildverarbeitungsvorrichtung zeigt; 
so Fig. 31 ein FluBdiagranmu das eine StraBenfonnab- 
schatzung zeigt die vom StraBenformabschStzungsab- 
schnitt ausgefiihrt wird; 

Fig. 32 ein FluBdiagramm, das die Erzeugung eines 
dreidimensionalen Fensters veranschaulicht, die vom 
55 StraBenformdetektorab schnitt ausgefuhrt wird; 

Fig. 33 ein FluBdiagramm, das die Verarbeitung be- 
zuglich der Detektion des linearen Elements zeigt, die 
vom StraBenformdetektorabschnitt ausgefuhrt wird; 
Fig. 34 ein FluBdiagramm, das eine StraBenformbeur- 
60 teilung zeigt, die vom StraBenformbeurteilungsab- 
schnitt ausgefuhn wird; 

Fig. 35 ein FluBdiagranun, das die durch den Objekt- 
erkennungsabschnitt durchgefuhrte Objektdetektion 
zeigt; 

65 Fig. 36 ein FluBdiagranun, das eine vom Objekterken- 
nungsabschnitt durchgefOhi'te dreidimensionale Fen- 
stererzeugung zeigt; 

Fig. 37 ein FluBdiagramm, das <Ue vom Objekterken- 
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niHigsabschnitt durchgefOhrte Objektkonturbildextrak- 
tionzeigt; 

Hg. 38 ein FluBdiagramm, das die Linearelementer- 
zeugung zeigt, die vom System zur Oberwachung des 
f ahrzeugexteraen Zustands eines zweiten Ausfuhrungs- 
beispiels der Erfmdung durchgefahrt wird; und 

Fig. 39 ein funktionelles Blockschaltbild einer Stra- 
Ben- und dreidimensionalen Detektorvorrichtung in ei- 
nem Oberwachungssystem fOr den fahrzeugextemen 
Zustand gem&B einem dritten erHndungsgemSLBen Aus- 
fQhningsbeispieL 

Die vortiegenden AusfiUirungsbeispiele dieser Erfm- 
dung werden unter Bezug auf die beiliegenden Zeich- 
nungen erlSutert Ein System zur Oberwachung des 
fahrzeugextemen Zustandes gemSB einem ersten Aus- 
fuhrungsbeispiel wird unter Bezugnahme auf die Fig. 1 
bis 7 und 30 beschrieben. 

In Fig. 1 bezeichnet die Bezugszahl 1 ein Fahrzeug 
wie ein Auto und dergleichen. Im Fahrzeug 1 ist ein 
System 2 zum Oberwachen des fahrzeugextemen Zu- 
standes angebracht Das Oberwachungssystem 2 dient 
dazu, ein Objekt innerhalb einer festgelegten Region 
auBerhalb des Fahrzeugs abzubilden, das Objekt aus 
einer Art abgebildeten Darstellung zu erkennen und so 
den Zustand auBerhaib des Fahrzeugs zu aberwachen. 

Das Oberwachungssystem 2 umfaBt ein optisches 
Stereoskopsystem 10 wie ein Abbildungssystem zur 
Aufnahme des optischen Bildes innerhalb eines vorbe- 
stimmten Bereichs auBerhalb des Fahrzeugs sowie eine 
Verarbeitungsvorrichtung 20 fur das Stereoskopbild 
Oder kurz Stereobild wie eine Bildverarbeitungsvorrich- 
tung zum Verarbeiten eines Bildes, das vom optischen 
Stereoskopsystem 10 abgebildet wurde, um die Infor- 
mation der dreidimensionalen Abstandsverteilung zu 
berechnen, und femer erne StraBen- imd dreidimensio- 
nale Detektorvorrichtung 100 wie eine Einrichtung, die 
dazu ausgelegt ist, ihr von der Verarbeitungsvorrich- 
tung 20 Kir das Stereobild zugefOhrte Distanzinforma- 
tion entgegenzunehmen, um bei einer hohen Geschwin- 
digkeit die Stra&enform oder die dreidimensionalen Po- 
sitionen mehrerer dreidimensionaier Objekte aus der 
Distan^dnformation zu erfassen und zu detektieren. Das 
Oberwachungs- oder Monitorsystem 2 ist an eine exter- 
ne Vorriditung angeschiossen, welche (nicht dargestell- 
te) Betatigungs- oder Steuereinheiten oder dergleichen 
steuert, wodurch mdglich wird, eine Funktion wie das 
Wamen des Fahrers oder eine automatische Koilisions- 
venneidung des Fahrzeugs usw. auszufuhren, wenn das 
erkannte Objekt als ein Hindemis fOr das Fahrzeug 1 
angesehenwird 

Das optische Stereoskopsystem 10 ist mit einer CCD- 
Kamera ausgelegt, die ein Festkdrperbildaufnahmeele- 
ment \ne ein Ladungsspeicherelement (CCD) usw. um- 
faBt Wie in Fig. 2 dargestellt, umfaBt das optische Sy- 
stem 10 zwei CCD-Kameras 11a und lib (die im Be- 
darfsfall durch elf reprSsentiert sind) fOr den rechten 
und luiken ^^nkel einer langen Distanz, die jeweils mit 
einem vorbestinunten Abstand zwischen sich auf der 
Vorderseite der Decke im Fahrzeugraum angebracht 
sind, sowie zwei CCD-Kameras 12a und 12b (im Be- 
darfsfall als zwolf dargestellt) f Or den rechten und linken 
Wnkel einer kurzen Distanz, die jeweils mit festem In- 
tervall auf der Innenseite der CCD-Kameras 11a und 
1 lb for die lange Distanz befestigt sind. 

Femer imifaBt, wie in Fig. 3 gezeigt ist, die Verarbei- 
tungsvorrichtung 20 far das Stereobild eine Distanzde- 
tektorschaltung 20a, die dazu ausgelegt ist, zwei Bildsi- 
gnale fOr links tmd rechts vom optischen System 10 



entgegenzunehmen, um den Abschnitt, in dem zwei Bil- 
der dasselbe Objekt aufweisen, fiir samtliche sehr klei- 
nen Bildbereiche, die auszufiihren sind, Qber die Ge- 
samtheit des Bildes zu detektieren, wobei die Vorrich- 
5 tung eine Verarbeitung ausfuhrt, in der der Abstand zu 
einem Objekt aus einem AusmaB an Diskrepanz der 
Position auf dem Bild berechnet wird, und wobei diese 
Vorrichtung einen Distanzbildspeicher 20b aufweist, der 
die Distanzinformation als Ausgangssignal der Distanz- 

10 detektorschaltung 20a speichert 

Femer imifaBt die StraBen- und dreidimensionale De- 
tektorvorriditung 100 einen Mikroprozessor 100a, der 
die Distanzinformation, die im Distanzbildspeicher 20b 
eingeschrieben ist, ausliest, um verschiedene Berech- 

15 nungen durchzufuhren, und daniberhmaus einen Nur- 
Lese-Speicher (ROM) 100b, in dem ein Steuerpro- 
gramm gespeichert ist, einen Direkt-Zugriff-Speicher 
(RAM) 100c zum Speichem der verschiedenen Parame- 
ter in der Mitte des Berechnungsprozesses, eine Interfa- 

20 ce-Schaltung lOOd und einen Ausgangsspeicher lOOe 
zum Speichem der Parameter der verarbeiteten Ergeb- 
nisse. 

Mit der Interface-Schaltung lOOd sind ein Fahrzeug- 
geschwindigkeitssensor 3, der am Fahrzeug 1 befestigt 

25 ist, und em Lenkwinkelsensor 4 verbunden, der den 
Lenkwinkel oder Einschlagwinkel des Lenkrades erfaBL 
Dem Mikroprozessor lOOa wird ein Distanzbild uber 
den Distanzbildspeicher 20b zugefuhrt, und er fuhrt eine 
Berechnimg zur Ausgabe von Parametem emer Stra- 

30 Benform oder eines Hindemisses aus, wobei er ein Ver- 
arbeitungsergebnis an den Ausgangsspeicher lOOe aus- 
gibt. Eine exteme Ausrustung, die mit der StraBen- und 
dreidimensionalen Detektorvorrichtung 100 verbunden 
ist, emp^gt diese Parameter vom Ausgangsspeicher 

35 lOOe. 

Es reicht aus, wenn das optische Stereoskopsystem 10 
tats^chlich die Position von 2 bis 100 m vor dem Fahr- 
zeug 1 miBt, wenn die CCD-Kameras 11 und 12 im 
Ratmi des Fahrzeugs 1 an einer Position, die vom vorde- 

40 ren Ende des Verdecks um zwei Meter nach innen ver- 
setzt ist, angebracht sind und die Distanzmessung von 
einer Stelle unmittelbar vor dem Fahrzeug bis zu einer 
Position, die beispielsweise 100 Meter davon entfemt 
ist, durdigefCUirt winL 

45 Wenn namlicfa, wie in F^.4 dargestellt ist, fQr den^ 
Fall, daB die Montagedtstanz zwischen den CCD-Kame- 
ras 11a und lib for eine groBe Entferaung bzw. lange 
Distanz mit r bezeichnet ist und ein Bild am Punia P, das 
von der Instaliationsflache der beiden Kameras 11a imd 

50 lib um Z entfemt ist, die Brennweiten der beiden Ka- 
meras 11a und lib mit f vorausgesetzt sind, dann wird 
ein Bild des Punktes P auf der Projektionsebene aufge- 
nommen, die um f von den Brennpunkten der jeweiligen 
Kameras entfemt ist 

55 Hierbei ist die Distanz der Position des Bildes der 
rechten CCD-Kamera lib bis zur Position des Bildes 
der linken Kamera 11a durch "r + 5" ausgedrOdcL Falls 
6 als ein DiskrepanzausmaB angesetzt wird, kann die 
Distanz Z zum Ptmkt P als Funktion des Diskrepanzaus- 

60 maBes oder Abweichungsbetrages durch die folgende 
Gleichung (1) gewonnen werden: 

Z = r X f/5 (1) 

65 Um derartige AbweichungsausmaBe oder -betrage 
im linken oder rechten Bild zu detektieren, ist es erfor- 
derlich, eine Abbildimg desselben Objekts im linken und 
rechten Bild aufzufinden. Gem^ der voriiegenden Er- 
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findung wird in der Verarbeitungsvorrichtung 20 fur das 
Stereobild, wie weiter unten erlautert wird, ein Schema 
angewandt, um ein Bild in kleine Regionen zu untertei- 
len. um Muster der Helligkeit oder Muster der Farbe 
innerhalb jeweiliger kleiner Regionen bezuglich des lin- 5 
ken und rechten Bildes zu vergleichen, um eine Region 
aufzufinden, in der sie einander entsprechen, wobei so 
eine Distanzverteilung uber das gesamte Bild bestimmt 
wird DemgemSB ist es moglich. eine Verringening der 
Informationsmenge, die in konventioneller Weise bei 10 
einem Verfahren zum Extrahieren irgendeines Merkmal 
es wie eine Kante, eines Liniensegmentes oder einer 
Raumform usw. der Fall war, um den Abschnitt heraus- 
zufmden, in dem diese Merkmale einander entsprachen, 
zuvermeiden. is 

Der Koinzidenzgrad zwischen rechtem und Imkem 
Bild kann beispielsweise durch die city-block Distanz H 
ermittelt werden, die durch die folgende Gleichung (2) 
gezeigt ist In diese Gleichung sind die Helligkeit 
(Farbe) des L Kxels des iinken und rechten Bildes jeweils 20 
durch Ai und Bi repi^sentiert Wie aus dieser Gleichung 
entnehmbar ist, kann die Rechengeschwindigkeit ver- 
bessert werden, da keine Ablenkung der Informations- 
menge infolge des Einsatzes von Mittelwerten und kei- 
ne multiplikative Berechnung (Funktion) vorliegt 25 

H«2|Ai-Bi| (2) 



Femer resultiert, wenn Ausdehnung der kleinen 
Region zu groBflfichig aufgeteilt ist, eine hohe Wahr- 30 
scheuiiichkeit, daB ein von eInem Bezugspunkt entfern- 
tes Objekt und ein hierzu nahes Objekt gemischt wer- 
den, so daB die zu detektierende Distanz falsch winL 
Auch ist es im Hinbtick der Gewinnung einer Distanz- 
verteilung eines BUdes anzustreben, daB die zu untertei- 35 
lende Region ein kleinerer Berdch ist Ist jedoch eine 
derartige Region zu klein, ist die Informationsmenge 
unzureichend fur die Untersuchung und Besdnmiung 
der Koinzidenz. 

Aus diesem Grund wird, damit bdspielsweise ein 40 
Fahrzeug, das eine Breite von 1,70 m aufweist und 100 m 
voraus ist, und derselbe Gegenstand wie ein Fahrzeug in 
einer benachbarten Fahrspur nicht in eine kleine Region 
fallen, die laterale Weite oder Breite der Region zum 
Maximalwert gemacht und erhalt bezogen auf das opti- 45 
sche Stereoskopsystem 10 die GrdBe von vier Pixeta. 
Infolge der Verwendung dieses Wertes als Grundlage 
zum Testen der optimalen Anzahl von Pbcehi fflr ein 
tatsachliches Bild wurde die Weite sowohl fiir die latera- 
le als auch longitudinale Weite auf vier Pbcel eingestell t 50 

In der folgenden Beschreibung wird vorausgesetzt, 
daB em Bild in kleine Regionen von 4x4 Pfacebi unter- 
teilt wird, um den Koinzidenzgrad der linken und rech- 
ten Bilder zu untersuchen, und daB das optische Stere- 
oskopsystem 10 durch die CCD-Kameras 11a und lib 55 
far groBe Entfernung reprasentiert wird 

Ein in die Praxis umgesetztes Schaltungsbeispiel der 
Verarbeitungsvorrichtung 20 fur das Stereobild ist in 
Fig. 5 gezeigt In diesem Schaltungsbeispiel umfaBt die 
Distanzdetektorschaltung 20a einen Bildumsetzungsab- so 
schnitt 30, der analoge Bilder, die vom optischen Stere- 
oskopsystem 10 abgebildet wurden, in digitale Bilder 
umsetzt, femer einen city-block-Distanzberechnungs- 
abschnitt 40, der die city-block Distanzen H berechnet, 
um die Betrage der linken und rechten Bilder zu bestim- 65 
men, wahrend aufeinanderfolgend jeweils zu einem 
Zeitpunkt euie 1 -Pbcel- Verschiebung vorgenommen 
wird, einen Mmimal/Maximahvertdetektorabschnitt 50, 



der einen Minimalwert Hmin und einen Maximalwert 
Hmax der city-block Distanz H ermittelt, und ehien I^- 
krepanzbestimmungsabschnitt 60, der emen E^skre- 
panzbetrag oder Abweichungsbetrag ermittelt, indem 
er priift, ob der Minunalwert Hmin* der vom Minimal/ 
Maximalwertdetektorabschnitt 50 geUefert wird, eine 
Koinzidenz zwischen den linken und rechten kleinen 
Regionen anzeigt oder nicht Femer wird als Distanz- 
bildspeicher 20b ein Dual-Port Speicher verwendet 

Im BUdumsetzungsabschnitt 30 sind A/D Wandler 
31a und 31b entsprechend den CCD Kameras 11a und 
lib far die Unken imd rechten Bilder vorgesehen. Mit 
den A/D Wandlem 31a und 3tb sind jeweils Nachschla- 
getabellen (LUT «= look-up tables) 32a und 32b verbun- 
den, die als Datentabelle dienen, sowie Bildspeicher 33a 
und 33b zum Speichern der durch die CCD Kameras 11a 
und lib abgebildeten Darstellungen. 

Die A/D Wandler 31a und 31b haben beispielsweise 
eine Helligkeits- oder Leuchtdichteauflosung von 8 Bits 
und dienen dazu, die analogen Bilddaten von den linken 
und rechten CCD-Kameras 11a und lib in digitale Bild- 
daten umzusetzen, die eine erforderliche Leuchtdichte- 
gradation aufweisen. Wird dabei die BinSrisierung der 
Leuchtdichte eines Bildes durchgef ahrt, kann man dabei 
speziell die Verarbeitungsgeschwindigkeit erhohen, je- 
doch tritt dann ein groBer Verlust in der Informations- 
menge ftir die Berechnung der Koinzidenz der linken 
und rechten Bilder auf, und so wird die Leuchtdichte 
jedes Hxels beispielsweise auf eine graue Skala umge- 
setzt die in 256 Helligkeitsgradationen unterteilt ist 

Ferner kdnnen die LUTs 32a und 32b in einem Nur- 
Lese-Speicher ROM als progranMnierte Daten vorhan- 
den sein. Die LUTs liefem Daten zur Korrektur eine 
Kontrastes eines Bildes, das durch die A/D Wandler 31a 
und 31b in digitale GroSen umgesetzt wurde und eine 
geringe Leuchtdichte aufweist und um Unterschiede in 
den Charakteristiken der linken und rechten CCD Ka- 
meras 1 la und 1 lb zu korrigieren. Daraufhin werden die 
von den LUTs 32a und 32b umgesetzten Signale in den 
BQd5peichem33a und 33b gespeichert 

Wie weiter unten eriiutert wird, fOhren die Bildspei- 
cher 33a und 33b eine Verarbeitung aus, bei der sie 
wiederholt einen Ausschnitt der Bilddaten im city-block 
Distanzberechnungsabschnitt 40 aufnehmen, und so ist 
es m5glich» daB sie mit einem Speicher relativ geringer 
Geschwindigkeit ausgelegt sind und so die Kosten redu- 
zierbarsind. 

Der city-block Berechnungsabschmtt 40 umfaBt em 
Paar Eingangspufferspeicher 41a und 41b, die fiber ei- 
nen gemeinsamen Bus 80 mit dem Speicher 33a fiir das 
linke Bild des Bildumsetzungsabschnitts 30 verbunden 
sind, und ein Paar Eingangspufferspeicher 42a und 42b, 
die fiber den gemeinsamen Bus 80 mit dem Speicher 33b 
f fir das rechte Bild verbunden sind 

Mit dem Paar Eingangspufferspeichera 41a und 41b 
ffir das linke Bild sind ein Paar Schieberegister 43a und 
43b verbunden, die eine achtstufige Auslegung aufwei- 
sen. In derselben Weise sind ehi Paar achtstufiger Schie- 
beregister 44a und 44b mit den jeweiligen Eingangspuf- 
ferspeichern 42a und 42b ffir das rechte Bild verbundea 
Femer ist eine city-block Distanzberechnungsschaltung 
45, die die city-block Distanz berechnet, mit diesen Paa- 
ren von Schieberegistera 43a, 43b;44a,44b verbunden. 

Ferner sind ein Paar zehnstufiger Schieberegister 64a 
und 64b des Diskrepanzbestimmungsabschnitts 60, der 
weiter unten erlSutert wird, mit den Schieberegistera 
44a und 44b ffir das rechte Bild verbunden. Wenn der 
Datentransfer ffir d&e nachste kleine Region begonnen 
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wird, werden aJte Daten, die bereits der Berechnung der 
city-block Distanz H unterzogen wurden, zu den Schie- 
beregistern 64a und 64b ubertragen, und zur Bestim- 
mung des Abweichungsbetrages 5 verwendet 

DarOberhinaus ist die city-block Distanzberech- 5 
nungsschaltung 45 von einer Struktur, in der Rechner 
Oder Betriebselemente 46 nach Art eines Hochge- 
schwindigkeits-CMOS kombiniert sind, wobei jedes 
Element eine solche Chip-Konfiguration aufweist, daB 
ein Eingabe/Ausgabesignalspeicher mit einem Addie* 10 
rer/Subtrahierer verbunden ist We detailliert in Fig. 6 
dargestellt ist, weist die city-block Schaltung 45 eine 
Pipeiinestruktur auf^ in der sechzehn Recheneinheiten in 
der Form einer Pyramide verbunden sind, und ist dazu 
ausgelegt, simultan Daten von 8 Pbceln zur DurcfafQh'* 15 
rung der Berechnung einzugeben bzw. zu verarbeiten. 
Die erste Stufe dieser Pyramidenstniktur stellt einen 
Absolutwertberechner oder ein entsprechendes Be- 
triebselement dar; die zweite bis vierte Stufe bilden ei- 
nen ersten Addierer, einen zweiten Addierer bzw. einen 20 
dritten Addierer und die Endstufe bildet einen Addierer 
ffir die gesamte Summe. 

Die Fig. 6 zeigt nur die Paarhaifte der Absolutwert- 
berechner und der Addierer der ersten und zweiten Stu- 
fe. 25 

Femer sind die Eingangspufferspeicher 41a, 41b, 42a 
und 42b jeweils kleine Speicher, die uber die hohe Ge- 
schwindigkeit verfiigen, die der Geschwindigkeit der ci- 
ty-block-Distanzberechnungen entspricht, und der Ein- 
gang und Ausgang sind getrennt, wkhrend eine Adresse, 30 
die von einer # 1 Adress-Steuereinheit 86 erzeugt wird, 
jedem der Pufferspeicher gemaB einem Takt zugeftihrt 
wird, der von einer Taktgeneratorschaltung 85 zuge- 
fUhrt wird. Femer wird der Transfer zu und von den 
beiden Paaren von Schieberegistem 43a, 43b; 44a, 44b 35 
durch eine # 2 Adress-Steuereinheit 87 gesteuert. 

Wird die Berechnung der city-block Distanz H durch 
die Software eines Rechners durchgefOhrt, ist es dar- 
aberhinaus erforderlich, ein sukzessives Absuchen der 
kieinen Region in der Bildebene auf der linken Seite 40 
bezuglich einer der kieinen Regionen der Bildebene auf 
der rechten Seite durchzufiihren, und einen derartigen 
Suchvorgang fur den gesamten Abschnitt kleiner Re- 
gionen der rechten Bildebene durciizuffihren. Wird die- 
se Berechnung beispielsweise in 0,08 sec ausgefuhrt, ist 45 
eine Rechenleistung von 500 MIPS (Mega-Instruktio- 
nen pro Sekunde) erforderlich, falls ein fUnfstufiges Pro- 
gramm fOr jedes Pbcei verwendet wird Diese Leistung 
kann von einem gel^uflgen Mikroprozessortyp der Art 
eines CISC Prozessors nicht erbracht werden und so 50 
muB ein RISC Prozessor, ein Digitalsignalprozessor 
(DSP) oder paralleier Prozessor verwendet werden. 

Der Minimal/Maximalwertdetektorabschnitt 50 ist 
mit einer Minimalwertdetektorschaltung 51, die einen 
Mininialwert Hmin ftlr die dty-block Distanz H ermit- 55 
telt, und einer Maximalwertdetektorschaltung 52 ausge- 
stattet, die einen Maximaiwert Hmax fur die dty-block 
Distanz detektiert Der Abschnitt 50 weist eine Struktur 
auf» in der Rechnereinheiten, die in der city-block Di- 
stanzberechnungsschaitung 45 eingesetzt sind, fOr die so 
NHnimal/Maximalwertdetektion verwendet werden. 

Wie in Fig. 7 gezeigt, umfaBt die Minimalwertdetek- 
torschaltung 51 eine Rechnerdnheit 46, die ein A-Re£^- 
ster 46a, ein B-Register46b und eine logische arithmeti- 
sche Berechnungseinheit (ALU) 46c aufweist, wobei ein es 
C-Signalspeicher 53, ein Signalspeicher 54 und ein 
D-Signalspeicher 55 jeweils in der gezeigten Weise ver- 
bunden sind. Das Ausgangssignal der city-block Di- 
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stanzberechnungsschaltung 45 wird dem A-Register 46a 
und dem B- Register 46b uber den C-Signalspeicher 53 
zugefiihrt. und es wird das hdchstwertige Bit (MSB) des 
Ausgangssignals der ALU 46 zum Signalspeicher 54 
ausgegeben. Der Ausgang dieses Latches oder Signal- 
speichers 54 wird zum B- Register 46b und zum D-Sig- 
nalspeicher 55 ausgegeben, und es wird ein Wert in der 
Mitte der Minimalwertberechnung im B-Register 46b 
konserviert bzw. gehalten und der Abweichungsbetrag 
5 zu diesem Zeitpunkt wird im D-Signaispeicher 55 kon- 
serviert 

Femer weist die Maximalwertdetektorschaltung 52 
dieselbe KonHguration wie die Minimalwertdetektor- 
schaltung 52 mit der Ausnahme auf, daB die Logik inver- 
tiert ist tmd daB der Abweichungsbetrag 6 nicht gespei- 
chertwird. 

Die city-block Distanzen H werden aufeinanderfol- 
gend berechnet, wie oben beschrieben, wahrend die 
kleine Region des linken Bildes jeweUs zu einem Zeit- 
punkt um ein Pixel bezQglich einer der kieinen Regionen 
des rechten Bildes verschoben wird. Jedesmal, wenn der 
Wert der dty-block Distanz ausgegeben wird, bestim- 
men der Vergleich und cUe Emeuerung des Maximal- 
werts Hmax und des Minimalwerts Hmin zu dieser Zeit 
den Maximaiwert Hmax und den Minimalwert Hmin fiir 
die dty-block Distanz in dieser kieinen Region im we- 
sentlichen zur selben Zeit wie der Ausgabe der endgiiiti- 
gen dty-block Distanz H. 

Der Diskrepanzbestimraungsabschnitt 60 ist so auf- 
gebaut, daB er z. B. einen RISC Prozessor geringen Um- 
fangs aufweist, und ist mit einer Recheneinheit 61 mit 
Datenbussen 62a und 62b von 16 Bit Breite, einem Si- 
gnalspeicher 63a, der den Abweichungsbetrag 5 halt, 
einem Signalspeicher 63b. der den Schwellwert Ha als 
einen ersten speziHschen Wert halt, einem Signalspei- 
cher 63c, der den Schwellwert Hb als einen zweiten 
speziellen Wert halt, einem Signalspeicher 63d, der den 
Schwellwert He als einen dritten spezifischen Zwischen- 
wert h^t, einem Paar Schieberegister 64a und 64b, die 
Leuchtdichtedaten eines rediten Bildes halten, einem 
Schalter 65, der das Ausgangssignal von der Rechenein- 
heit 61 empfangt und den Abweichungsbetrag S oder "0^ 
ausgibt, Ausgangspufferspeichem 66a und 66b, die die 
Ausgangsergebnisse zeitweise halten, und einem Nur- 
Lese-Speicher (ROM) 67 mit sechzehn Bit Breite verse- 
hen, in dem das Steuerprogramm ftir die Funktionen der 
Recheneinheit 61 und die Betriebszeitsteuerung der 
Schaltung eingeschrieben sind 

Die Recheneinheit 61 weist die ALU 70 auf und um- 
faBt ein A-Register 71, ein B-Register 72, ein S-Register 
73 und einen Selektor 74. Das A-Register 71 ist mit dem 
Datenbus 62a (im folgenden als A-Bus 62a bezeichnet) 
verbunden. Das B-Register 72 ist mit dem Datenbus 62b 
(un folgenden als B-Bus 62b bezeichnet) verbunden. Der 
Schalter 65 wird durch die Rechenergebnisse der ALU 
70 betttigt, und es wird entweder der Abweichungsbe- 
trag 6 oder "0" in den Ausgangspufferspeichem 66a und 
66bgespeichert 

Mit dem A-Bus 62a sind die Signalspeicher 63b, 63c 
und 63d, die jeweils die Schwellwerte Ha, Hb bzw. He 
speidiem, und die Masdmaiwertdetektorschaltung 52 
verbunden. In gleicher Weise ist mit dem B-Bus 62b die 
Minimalwertdetektorschaltung 51 verbunden. Femer 
sind an den A-Bus 62a und den B-Bus 62b die Schiebere- 
gister 64a und 64b angeschlossen. 

Femer ist an die Schaltstuf e 65 die Recheneinheit 61 
angeschlossen, und die Minimalwertd tektorschaltung 
51 ist dartiberhinaus Qber Signalspeicher 63a ange- 
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schlossen. So werden von der Recheneinheit 61 drei Fig. 8 gezeigt), durch die Verarbeitungsvorrichtung 20 
spaterzubeschreibendePrufzustandebeurteiIt,unddas fur das Videobild verarbeitet wird, wird ein in Fig. 9 
Ausgangssignal der Ausgangspufferspeicher 66a imd gezeigtes Bild gelief ert. 

66b wird in Abhangigkeit dieser Beurteilungsergebnisse In diesem Bildbeispiel, das in Fig. 9 gezeigt ist, ist der 
geschaltet 5 Bildumf ang 400 Pbcel in der lateralen Wchtung und 200 

Der Diskrepanzbestimmungsabschnitt 60 priift, ob Pbcel in der Langsrichtung. Die Bereiche, die Distanzda- 
der gewonnene Minimalwert Hmin der city-block Di- ten aufweisen sind die Bereiche schwarzer Punkte. Die- 
stanz H tatsachlich mit der linken und rechten kleinen se Bereiche sind Bereiche, in denen die Leuchtdichte 
Region koinzidiert, und nur, w nn diese Bedingung er- sich zwischen den in der Imken und rechten Richtung 
fttllt ist, wird ein entsprechender Abweichungsbetrag 5 lo der jeweiligen Pbcel des Bildes der Fig- 8 benachbarten 
zu den Positionen von Pbceln entsprechend den Aus- Pbcel mit einem hohen Grad andert. Das Koordinaten- 
gangspufferspeichem66aunde6bausgegeben. system auf einem Bild ist derart, daB der Ursprung ais 

Wird die dty-block Distanz H minimal, so ist genauer die oberste Ecke auf der linken Seite angesetzt ist, wo- 
ausgedrOckt der Abweichungsbetrag ein erforderlicher bei eine i-Koor(&atenachse in seitlicher Richtung, eine 
Abweichungsbetrag 5. Der Abweichungsbetrag 8 wird is j-Koordinatenachse in LiUi^riditung genommen wer- 
ausgegeben, wenn die folgenden drei Priifbedingungen den und die Einheit ein Pixel ist. 

erfullt waren, wShrend ke'me Oaten verwendet werden Dieses Distanzbild wird in die StraOen- und dreidi- 
und *'0" ausgegeben wird, wenn die Bedingimgen nicht mensionale Detektorvorrichtung 100 eingelesen. So 
eifOllt werden. werden eine A^elzahl von Objekten wie andere Autos 

20 Oder Hindemisse usw^ die auf der linken und rechten 

(A) Hmin ^ Ha (die Distanz ist nicht detekdert, Fahrbahn angrenzend an die Fahrbahn des Jewells be- 
wenn Hmin > Ha.) troffenen Fahrzeugs vorliegen, erfaBt. So werden ihre 

(B) Hmax — Hmin ^ Hb (dies ist eine Bedingung Positionen und Abmessungen bezogen auf die Ge- 
zum PrOfen. ob der gewonnene mimmale Wert schwindi^elten bezuglich des jeweils betroffenen 
Hmin eindeutig infolge von aus Rauschen resultie- 25 Fahrzeuges durch zeitliche PositionsSnderungen und 
render Schwingung niedrig ist, und pruft nicht die dergleichen berechneL ZusStzlich werden Konturbilder 
Differenz mit der Umgebung des Minimalwerts dererfaBtenObjekteextrahiert 

Hmin, sondem priift statt dessen die Differenz mit In diesem Fall wird in der StraBen- und dreidimen^o- 
dem Maximalwert Hmax, so daS die Distanzerfas- nalen Detektorvorrichtung 100 eine dreidimensionale 
sung bezaglich der Objekte, wie beispielsweise ge- 30 Information eines Objekts verwandt So fOhrt diese 
krummte Oberflachen oder dergleichen durchge- Vorrichtung eine Unterscheidung zwischen einer Stra- 
fOhrt wird, fur die die Leuchtdichte sich graduier- Be und einem Objekt fiber die Hdhe von der StraBen- 
lich andert). oberfiache ab aus und fuhrt eine Unterscheidung zwi- 

(C) Die Leuchtdichtedifferenz zwischen aneinan- schen einem Objekt und dem Hintergrund durch einen 
dergrenzenden Pbceln in lateraler Richtung inner- 35 Distanzwert aus. Um dies zu realisieren, transformiert 
halb einer kleinen Region eines rechten Bildes ist die StraBen- und dreidimensionale Objektdetektorvor- 
groBer He (es liegt eine Kantendetektion vor, wenn richtung 100 zimSchst ein Koordinatensystem von Di- 
der Schweliwert He grdBer wird, jedoch ist es auch stanzbiidem von der Verarbeitungsvorrichtung fiir das 
moglich, eine Behandlungsmoglichkeit zu haben. Stereo bild auf ein Koordinatensystem eines realen Rau- 
wenn die Leuchtdichte sich graduierlich andert, in- 40 mes, der ein entsprechendes Fahrzeug (Fahrzeug 1) um- 
dem der Schweliwert He geringer als der normale gibt, um Positionen und Abmessungen der detektierten 
Kantendetektionspegel gemacht wird Diese Be- StraBenformen oder dreidimensionalen Objekte zu be- 
dingung basiert auf dem fundamentalen Prinzip, rechnen. 

daB die Distanzerfassung in der kleinen Region, die Wie in den Fig. 10 und 1 1 gezeigt ist, wird dabei nam- 
keine Anderungen der Leuchtdichte hat, nicht aus- 45 lich vorausgesetzt, daB das Koordinatensystem eines 
gefuhrt werden kann, und fur jedes Pbcel in einer realen Raumes das Koordinatensystem des Fahrzeugs 
kleinen Region ausgefOhrt wird und so nur fur Pbcel ist, in dem die x-Achse in der seitlichen Richtung auf der 
ausgenutzt wird, fur die die Distanz tatsachlich ffir rechten Seite des Fahrzeugs 1 liegt, die y-Achse bezug- 
das Innere einer klemen Region erfaBt worden ist, lich des Fahrzeugs 1 aufwarts gerichtet ist, die z-Achse 
und erzeugt so em naturliches Ergebnis.) 50 in Vorwartsrichtung des Fahrzeugs 1 gelegt ist und der 

Ursprung auf der StraBenoberfiache unmittelbar unten 
Wird diese Abweicdiungsbetragbestimmimg durch dem zentralen Bereich der beiden CCD Kameras 11a 

Software mit einem normalen Mikroprozessor durchge- (12b), lib (12b) Uegt Ist die StraBe flach, so entspricht 

fOhrt, ist es ndtig. eine Geschwindigkeit von 27 MIPS zu folglich die XZ Ebene (Y « 0) der StraBenoberfiache. 

haben, und es ist unmdglich, eine derartige Verarbei- 55 Um die dreidimensionalen Positionen (X, Y, Z) eines 

tung auszuf uhren. Objekts aus der Distanzinformation (i, j, Z) in einem Bild 

Die Distanzverteilungsinformation, die dem endgiilti- zu berechnen, wird durch die folgenden Gleichungen (3) 

gen Ausgangsergebnis des Diskrepanzbestimmungsab- und (4) eine Sorte von Koordinatentransformationen 

schnitts 60 entspricht, wu-d fiber einen gemeinsam be- durchgeffihrt: 

nutzten Bus 80 in einen dual-port Speicher 90 einge- 60 

schrieben. Y « CH - Z x PW x 0 - JV) (3) 

Die Distanzverteilungsinformation, die von der Ver- 
arbeitungsvorrichtung 20 fur das Stereobild ausgegeben X « r/2 + Z x PW x (i - IV) (4) 
wird, liegt, wie oben erklart, in Form eines Bildes (Di- 
stanzbild) vor. Wenn die von links und rechts durch die es wobei CH eine Montagehohe der CCD Kamera 1st 
jeweiligen CCD BCameras 11a und lib aufgenommenen (CCD Kamera 12), PW ein Sichtfeldwinkel pro Pbcel ist 
Bilder, z. B. ein Bild, wie es in Fig. 8 dargestellt ist (ein und IV, JV Koordinaten auf einem Bild an einem unend- 
Bild. das von einer Kamera aufgenonmien ist, ist in lichen Punkt sind, der dem Fahrzeug 1 gerade gegen- 
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Qber Uegt Femer sind die Gleichungen zum Berechnen 
einer Position (i, j) auf einem Bild aus den dreidimensio- 
nalen Koordinaten (X, Y, Z) eines realen Raumes unten 
angegeben. indem die oben erwahnten Gleichungen (3) 
und (4) entsprechend uzngef onnt wurden. 

j = (CH - Yy(Z X PW) + IV (5) 

i « pC - r/2y(Z X PW) + I V (6) 

Es sei angemerkt, daB, wenn die Montageposition der 
CCD Kamera 11 durch das x, y, z-Koordinatensystem 
des realen Raumes angezeigt wird, so betragen bei- 
spielsweise die Positionsparameter der CCD Kamera 
lib auf der linken Seite X ~ 0,45 m, Y = 1^4 m und Z 
= 0,0 m und die Positionsparameter der CCD Kamera 
11a auf der linken Seite X = -0,45 m, Y = 1,24 m und 
Z = 0,0 m. 

Die Erkennungsfunkdon der StraBen- und dreidimen- 
sionalen Objektdetektorvorrichtung ist, wie In Fig. 12 
gezeigt, grob in eine StraBendetektoreinheit 110 und in 
eine Objekterkennungseinheit 120 unterteilt Jeweilige 
Verarbeitungsergebnlsse werden in den Ausgangsspei- 
cbem lOOe ^e einem StraBen-Zdreidimensionalen Para- 
meterspelcher 130 gespeichert und in eine (nicht gezeig- 
te) externe Vorrichtung ausgelesen. 

Die StraBendetektoreinheit 110 ist aus einem Stra- 
Benformabschatzimgsabschnitt 111, einem Erzeugungs- 
abschnitt 112 fur ein dreidimensionales Fenster. einem 
Linearelementdetektorabschnitt 113 und einem Stra- 
Benformbeurteilungsabschnitt 114 aufgebauL Dariiber- 
hinaus ist der Objekterkennungsabschnitt 120 aus einem 
Objektdetektorabschnitt 121, einem Erzeugungsab- 
schnitt 122 fiir ein dreidimensionales Fenster und einem 
Objektkonturenextraktionsabschnitt 123 aufgebaut 

Der StraBenformabschatzungsabschnitt 111 weist die 
Funktion auf, die Position einer weiBen Linie und die 
Form einer StraBe auf der Grundlage von Information 
einer Distanzverteilung abzuschatzen bzw. zu berech- 
nen, die im Distanzbild enthalten ist; der Erzeugungsab- 
schnitt 112 fOr das dreidimensionale Fenster weist die 
Funktion auf, als ein erstes dreidimensionales Fenster 
einen dreidimensionaien Raumbereich festzulegen, der 
die abgeschatzte weiBe Linie der StraBe enthalt. 

Femer weist der Linearelementdetektorabschnitt 113 
die Funktion auf, nur die Daten rnnerhalb des ersten 
dreidimensionaien Fensters aus Informationen der Di- 
stanzverteilung ziu- Detektion von dreidimensionaien 
linearen Elementen zu extrahieren, die ein Su'aBenmo- 
dell darstellen, und der StraBenformbeurteilungsab- 
schnitt 114 weist die Funktion auf, die Annehmbarkeit 
Oder Plausibilitat eines detektierten linearen Elements 
zu beurteilen, um das lineare Element fQr den Fall zu 
modifizieren oder zu Endem, daB das beurteilte Ergeb- 
nls lucht einem Kriterium entspricht, um so das Strafien- 
modeli zu bestinmien. 

Ferner weist der Objektdetektorabschnitt 121 die 
Funkdonen einer Datenextraktionseinrichtung zum Ex- 
trahieren nur von Daten oberhalb der StraBenoberfla- 
che aus der Information der Distanzverteilung auf der 
StraBe des vorbestimmten StraBenmodells und eine Ob- 
jektdetektoreinrichtung auf, um das Vorhandensein 
Oder Fehlen einer existierenden Position eines Objekts 
aus den extrahierten Daten fur jeweils jeden einer Viel- 
zahl von Bereichen festzustellen, die durch Zerteilen 
eines Bildes gewonnen werden, das die Information der 
Distanzverteilung enth^t, urn so mehrere Objekte in 
einer zur Untersdseidung vom Hintergrund geeigneten 
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Weise zu detektieren. Dariiberhlnaus weist der Erzeu- 
gungsabschnitt 122 fOr das dreidimensionale Fenster di 
Funktion auf, als ein zweites Fenster einen dreidimen- 
sionaien Raumbereich festzusetzen, der die detekderten 
5 Objekte enthalt 

Femer weist der Objektkonturbildextraktionsab- 
schnitt 123 die Funktionen der Extraktion nur von Da- 
ten innerhalb des zweiten dreidimensionaien Fensters 
aus Information der Distanzverteilung zur Detektion 
10 eines Konturbildes eines Objekts und der Detektion der 
Ausdehnung und Position dieses Konturenbildes, emer 
Detektoreinrichtxmg zur Erfassung des Positions bezie- 
hungsausmaBes mit hoher Geschwindigkeit und eines 
AusmaBes an positioneller Beziehimg zwischen einem 
15 detektierten dreidimensionaien Objekt und dem Fahr- 
zeug auf der Monitorseite aus zeitiichen Anderungen 
der dreidimensionaien Positionen des erfaBten dreidi- 
mensionaien Objekts sowie die Funktion einer Kolli- 
sionsbeurteilungseinrichtung auf, die die Moglichkeit ei* 
20 ner Kollision zwischen einem erfaBten dreidimensiona- 
ien Objekt und dem Fahrzeug nut der Oberwachungs- 
einheit aus dem Betrag oder AusmaD an positioneller 
Beziehung im Hinblick auf eine Fahrroute des Monitor- 
fahrzeugs beurteilt, die aus der erfaBten StraBenform 
25 gewonnen wird. 

Der StraBendetektorabschnitt 110 nutzt die dreidi- 
mensionale Positionsinformation von einem Distanzbild 
aus, das im DIstanzbildspelcher 20b gespeichert wird, 
und extrahlert nur weiBe Linien auf der aktueilen StraBe 
30 in einer soichen Weise, daB sie von den anderen zur 
Modifizierung/Anderung von Parametem des StraBen- 
modells, das darin enthalten ist, so getrennt werden, daB 
sie einer tatsachlich vorliegenden StraBenform entspre- 
chen. 

35 In einem aktueilen Bild erscheint ein vorausf ahrendes 
Fahrzeug oder dergleichen auf weiBen Linien auf der 
StraBe in ilberlagerter Weise. Mit zahlreichen her- 
kommiichen Vorrichttmgen, die zur Detektion von wei- 
Ben Linien auf einer StraBe ausgelegt sind, welche in 

40 einem Bild in AbhSngigkeit zweidimensionaler Merk- 
male erscheinen, ist es hSufig nicht mdglich, weiBe Li- 
nien und dreidimensionale Objekte durch zweidimen- 
sionale Merkmale zu trennen. Demgegenuber ist es in 
der vorliegenden Ertindung durch Ausnutzen dreidi- 

45 mensionaier Positionsinformation von weiBen Linien 
moglich, weiBe Linien und dreidimensionale Objekte 
zuverlassig zu trennen. 

Dabei Uegen namlich in einem dreidimensionaien 
Raum die weiBen Linien auf der Ebene einer StraBe und 

50 ein dreidimensionales Objekt wie ein vorausfahrendes 
Fahrzeug usw. ist demgegeniiber auf einer Position vor- 
handen, die hdher als die Ebene der StraBe liegt Im 
Hinblick hierauf wird ein Verfahren angewandt, das 
zwischen der weiBen Lmie und dem dreidimensionaien 

55 Objekt durch die Hdhe von der StraBenoberflache un- 
terscheidet 

Femer ist ein StraBenmodell im StraBendetektorab- 
schnitt 110 enthalten oder gespeichert. Dieses StraBen- 
modell wird gewonnen, indem eine eigene Fahrbahn bis 

60 zu einem Erkenntmgsobjektbereich durch feste Distan- 
zen zu unge^hren linken und rechten weiBen Linien fflr 
jeden jeweiligen Abschnitt durch eine dreidimensionale, 
spSter beschriebene Gleichung zu deren Verbindung in 
Form einer polygonalen Linie in eine Vielzahl von Ab- 

65 schnitten aufgeteilt wird. In diesem StraBenmodell wird 
der Bereich, der von linken und rechten polygonalen 
Linien eingeschlossen ist, als eine Fahrbahn fflr ein fah- 
rendes Fahrzeug beurteilt Mit anderen Worten kann 
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man davon ausgehen, daB die Erkennung der StraBen- 
form ein ProzeB zum Ableiten von Parametern eines 
dreidimensionalenllnearen Ausdrucks ist 

Fig. 13 ist ein Beispiel eines StraBenmodells. Bei- 
spielsweise ist die StraBe in einem B^reich bis zu 84 m 
vor einem Fahrzeug in sieben Abschnitte von einem 
nullten Abschnitt RO, dem ersten Abschnitt Rl, dem 
zweiten Abschnitt R2, ... dem sechsten Abschnitt R6 
unterteilt, um eine Rechtskurve durch eine NSherung 
nachzustellen. In diesem StraBenmodell wird ein Ver- 
f ahren verwendet, das die Representation einer StraBe 
durch die Approximation durch sieben Abschnitte er- 
mdglicht, wodurch es mdgtich wird, mit ausreichender 
Prazision nicht nur einen linearen Verlauf, sondem auch 
eine Kurve oder einen S-fdrmigen Verlauf zu reprasen- 
tieren. Daruberhinaus sind, da die jeweiligen Abschnitte 
durch linien reprasentiert sind, die Rechenverarbeitun- 
gen und/oder die Handhabung einfach. Daraberhinaus 
konnen, wie weiter unten eriautert, jeweiiige Abschnitte 
mit linearen Ausdrucken in horizontaler Richtimg oder 
in einer vertikalen Richtung reprasentiert werden und 
Formen in oberen und unteren Richtungen beziigiich 
einer StraBe wie einem Auf imd Ab der StraBe oder 
Unebenheiten usw. konnen reprasentiert werden. 

Es sei angemerkt. daB es erforderiich ist, die Werte 
der Abstande, die die jeweiligen Abschnitte des Stra- 
Benmodells teilen, abhangig von der Kriimmung einer 
Kurve der StraBe, auf der ein Fahrzeug fahrt, zu andern. 
Da der Radius der StraBe bei SchnellstraBen im allge- 
meinen so ausgelegt ist, daB er mindestens etwa 230 m 
betragt, konnen zufriedenstellende Ergebnisse fur die- 
sen Fall gewonnen werden, wenn die Distanzteilung der 
jeweiligen Abschnitte auf 10 m, 17 m, 25 m, 35 m, 48 m, 
64 m und 84 m festgelegt werden. 

Die Funktion des StraBendetektorabschnitts 1 10 wird 
nun detailiiert beschrieben. Der StraBenformabschat- 
zungsabschnitt 111 berechnet die Bewegung des Fahr- 
zeugs 1 fiir At sec durch Verwenden von Ausgangssi- 
gnalen vom Fahrzeuggeschwindigkeitssensor 3 und 
Lenkwinkelsensor 4 auf der Grundlage des Erkennungs- 
ergebnisses einer StraBenform der letzten Zeitspanne 
(vor At secX um so eine StraBenform aus der Sicht der 
Position des Fahrzeugs 1 nach At sec abzuschatzen. 

Wird angenommen, daB ein Ausgangssignal des Ge- 
schwindigkeitssensors 3 V (m/sec) und ein Ausgangssi- 
gnal (Lenkwinkel) des Lenkwinkelsensors 4, der an der 
Lenkwelle oder LenksSule bef estigt ist, t| (rad) betragen, 
dann konnen ein Fortbewegungsbetrag Z(m) und ein 
Drehwinkel (Gierwinkel) A0 (rad) des Fahrzeugs 1 fur 
At sec generell durch die folgenden Gleichungen be- 
schrieben werden. 

AZ - V X At (7) 

A© » AZ X tan(Ti/rs) x 1/wb (8X 

worin rs das Verhaltnis der Drehung zwischen dem 
Lenkrad und dem Vorderrad ist \md wb ein Rad- oder 
Achsstand des Fahrzeugs ist 

DemgemaB wird eine K§henmg angewandt, um eine 
StraBei^orm, die in der letzten Verarbeitung detektiert 
worden ist, in einer Richtung auf dieser Seite um AZ zu 
bewegen, um die StraBenform in einer Richtung entge- 
gengesetzt zur Drehung des Fahrzeugs 1 lun A0 weiter 
zu drehen, wodurch es mdglich ^^drd. die angendherte 
Position in Form einer StraBe na^ At sec abzuschatzen. 

Der Erzeugungsabschnitt 112 fur ein dreidimensiona- 
les Fenster legt zuntchst einen ersten dreidimensiona- 



len Raumbereich in einem rechtwinkligen Parallelipipe- 
don bzw. Quader fest, wie in Fig, 14 gezeigt ist, d. h. ein 
erstes dreidimensionales Fenster WD3A (im folgenden 
der Einfachheit halber als dreidimensionales Fenster 

5 WD3A bezeichnet), wobei ein lineares Element Ld in- 
nerhalb eines Bereichs, der durch linke und rechte poly- 
gonale linien eingegrenzt ist, die eine abgeschktzte 
StraBenform RD anzeigen, als ein Zentrum zum Bestim- 
men durch Berechnung dient, wie das festgelegte dreidi- 

10 mensionale Fenster WD3A auf ein zweidimensionales 
Bild, wie in Fig. 15 gezeigt, blickt, um zu ermdglichen, 
daB der Bereidi innerhaib der Fensterkonturlinie (die 
schrggen Unienabsdmitte in Fig. 15) ein zweidimensio- 
nales Fenster wie WD2A ist, um nur Daten darin als zu 

15 erfassende Daten zu betrachtea 

Um das zweidimensionale Fenster WD2A aus dem 
dreidimensionalen Fenster WD3A zu gewinnen, wird 
eine Nahenmg eingesetzt, um Koordinaten (in, jn) auf 
dem Bild durch Verwenden der vorbeschriebenen Glei- 

20 chungen (5) und (6) aus den jeweiligen Koordinaten (Xn, 
Yn, Zn) von acht Senkrechten des dreidimensionalen 
Fensters WD3A zu berechnen, um ein Polygon zu be- 
rechnen, das diese Punkte umhiillt 

Das dreidimensionale Fenster WD3A ist derart, daB 

25 die Lange gleich der Unterteilungsdistanz der jeweili- 
gen Abschnitte ist (beispielsweise 10 bis 17 m vor dem 
Fahrzeug bei einem ersten Abschnitt Rl) und daB die 
Hohe und die Breite in Abhangigkeit von UmstSnden 
wie der Fahrzeuggeschwindigkeit usw. gelindert wer- 

30 den. Jedoch kann ein Fehler bei der Abschatzung der 
StraBenform vorliegen. Aus diesem Grund wird, wenn 
eine Diskrepanz beziigiich einer tatsachlichen Position 
der weiBen Linie erwartet wird, eine Naherung ange- 
wandt, um die Hdhe und die Breite zur Verbreiterung 

35 des Detektionsbereichs zu vergroBern. Wird jedoch das 
Fenster zu groB, so konnen Steine oder BSume und 
Pflanzen an der Peripherie einer StraBe usw. fehlerhaft 
erfaBt werden, woraus eine falsche Erkennung resultie- 
ren kann. Aus diesem Grund ist es wichtig, die Dimen- 

40 sion des Fensters geeignet auszuwahlen. In den generel- 
len SchnellstraBen ist bereits als Testergebnis bestatigt, 
daB die Anderung der Dimension in einem Bereich, in 
dem die Hohe 0,4 bis 03 m und die Breite 0,4 bis 1,6 m 
betragen, geeignet ist 

45 Wie oben beschrieben, wird, falls eine weiBe Linie auf 
einer StraBe imd ein dreidimensionales Objekt einander 
auf einem zweidimensionalen Bild uberlappen, eine Na- 
herung eingesetzt, um ein dreidimensionales Fenster 
festzusetzen, um nur Daten in der Umgebung der Ober- 

50 fl^che der StraBe zu extrahieren, wodurch es mdglich 
wird, die weiBe Linie in einer Weise zu detektieren, die 
sie vom dreidimensionalen Objekt unterscheidet Ob- 
gleich Steine, Baume und Pflanzen an der Peripherie 
einer StraBe existieren, wird femer eine Naherung ein- 

55 gesetzt, um ein dreidimensionales Fenster festzulegen, 
das nur Daten in der Umgebung der Position extrahiert, 
wo eine Abschatzung weiBe Linien ergibt, wodurch es 
mdglich wird, die weiBen Linien auf der StraBe in einer 
Weise zu detektieren, die sie von diesen Steinen oder 

60 Baumen und Pflanzen usw. unterscheiden. Femer wird 
ein zweidimensionales Fenster festgelegt, wodurch es 
mdglich wird, eine abzusuchende Region und die Anzahl 
von Daten zu reduzieren, so daB so die Verarbeitungs- 
zeit verkiirzt wird, 

65 Der Linearelementdetektorabschnitt 113 berechnet 
einen Betrag AX der Diskrepanz in einer X-Richtung 
und einen Betrag AY der Diskrepanz in einer Y-Rich- 
tung der dreidimensionalen Position eines Objekts be- 
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zQglich des linearen Elementes Ld der StraBenform, die 
vorab abgeschttzt wurde, urn so jeweilige Daten mit 
Wichtungskoeffizienten zu multiplizieren, die in Abhan- 
gigkeit dieser Diskrepanz- oder Abweichungsbetrage 
AX, AY festgelegt sind, um lineare Ausdrucke in einer 5 
horizontalen Richtung (XZ Ebene) und in einer vertika- 
len Richtung (YZ-Ebene) durch das kleinste Quadrat 
abzuleiten, um auf diese Weise Parameter zu gewinnen. 

Speziell werden dabei Pbcel innerhaib des zweidimen- 
sionalen Fensters 2A aufeinanderfolgend Oberwacht, 10 
um so dreidimensionale Posidonen (X, Y, Z) eines Ob- 
jekts zu berechnen, indem zuvor bescfariebene Glei- 
chungen (3) und (4) bezQglich von Pbceln angewandt 
werden, die Distanzdaten aufweisen* um aus den zu er- 
fassenden Daten Distanzdaten auszuschlieBen, bei de- 15 
nen der Wert der Distanz Z aufierhalb eines Langenbe- 
reichs des dreidimensionalen Fensters WD3A liegt (bei- 
spielsweise Z 10— 1 7 m im ersten Abschnitt Rl). 

Da namlich ein Bild eines Objekts, das auf der gegen- 
uberliegenden Seite oder dieser Seite des dreidimensio- 20 
nalen Fensters WD3A liegt, innerhaib des zweidimen- 
sionalen Fensters DW2A abgebildet wird, kann nicht 
gesagt werden, daB ein innerhaib des zweidimensiona- 
len Fensters WD2A beobachtetes Objekt innerhaib des 
dreidimensionalen Fensters WD3A enthalten ist. Im 25 
Hinblick hierauf wird eine Naherung angewandt, um 
dreidimensionale Positionen (X, Y, Z) eines Objekts von 
jeweiligen Pixehi zu berechnen, um so zu unterscheiden, 
ob diese Positionen innerhaib des dreidimensionalen 
Fensters WD3A liegen oder nicht 30 

Darauffolgend werden das zuvor erwahnte lineare 
Element Ld der StraSenform und die dreidimensionalen 
Positionen des Objekts miteinander verglichen. um Be- 
trage AXi, AYi der Abweichung oder Diskrepanz in 
X-Richtung und in Y-Richtiing der Daten Di zu bestim- 35 
men, wie in Fig. 16 gezelgt ist, um nur Daten innerhaib 
des Bereichs des dreidimensionalen Fensters WD3A zu 
selektieren, das eine vorbestimmte Breite und Hohe hat, 
um danach Wichtungskoeffizienten der Daten Di zu be- 
stimmen, die den Betragen AXi, AYi der Diskrepanz in 40 
X-Richtung und in Y-Richtung entsprechen. 

Die Wichtungskoeffizienten sind in der grafischen 
Form einer Parabel gezeigt, in der der Mittelpunkt auf 
1,0 und der Umfang oder Rand auf 0,0 festgelegt ist. 
wobei das Produkt eines WichtungskoefHzienten be in 45 
X-Ricbtung und eines Wichtungskoeffizienten fy in 
Y-Richtung als ein Wichtungskoeffizient dieser Daten 
Di angesetzt wud. Die Reichweiten in der X-Richtung 
und in der Y-Richtung, wo der Wichtungskoefftzient 
aber 0,0 Hegt, werden auf dieselben Werte festgelegt so 
wie die der Breite und H5he des dreidimensionalen Fen- 
sters WD3A, Oder werden auf Werte festgelegt. die gro- 
Ber als diese Werte sind 

Nachdem die Jeweiligen Daten Di mit den oben er- 
wahnten Wichtungskoeffizienten multipiiziert worden 55 
sind. werden linear AusdrGcke in horizontaler Richtung 
und vertikaler Richtung, die durch die folgenden Glei- 
chungen (9) und (10) angezeigt sind, abgeleitet, um Para- 
meter a, b, c d abzuleiten, wobei diese Parameter als ein 
Kandidat eines neuen linearen Elements Ld betrachtet eo 
werden: 

Horizontale Richtung: X » a x Z + b (9) 

Vertikale Richtung: Y « c x Z + d (10). 65 

Gleichzeitig werden bezflglich der Daten, wo der 
Wichtungskoeffizient fiber einen festgelegten Wert 
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(beispielsweise 0,05 bis 0,1) liegt, die Anzahl der Daten 
und der Bereiche des Abstandes Z, wo diese Daten ver- 
teilt sind, untersucht Fflr den Fall, daB die Anzahl von 
Daten geringer als ein festgelegter Wert ist (beispiels- 
weise etwa 10) oder fur den Fail, daB der Bereich des 
Abstands Z ein Wert ist, der kleiner als die Halfte der 
Lange des dreidimensionalen Fensters WD3A ist (bei- 
spielsweise die L^ge von 7 m fiir Z =» 10 bis 17mira 
ersten Abschnitt Rl) wird infolgedessen geschlossen, 
daB ein Kandidat fur ein korrektes lineares Element Ld 
nicht gewonnen werden kann, so daB der lineare Aus- 
druck, der oben gewonnen wmxie, verworfen wird und 
so f estgestellt wird, daB kein Kandidat vorliegt 

Der oben erwahnte ProzeB wird aufeinanderfolgend 
von der linken und rechten Seite und dieser Seite zu 
Abschnitten auf emer entfemten oder abgewandten 
Seite durchgefuhrt, so daB Kandidaten samtlicher linea- 
rer Elemente Ld, die ein StraBenmodell darstellen, ge- 
wonnen werden. Zu diesem Zeitpunkt gibt es Distanzen, 
bei denen, falls die Breite des dreidimensionalen Fen- 
sters auf einen zu groBen Wert festgelegt wird, Steine 
oder Baume und Pflanzen an der Peripherie einer Stra- 
Be innerhaib des Randes oder der Kante des dreidimen- 
sionalen Fensters auftreten kdnnen. Jedoch wird im U- 
nearelementdetektorabschnitt 113 eine MaBnahme er- 
griffen, bei der die jeweiligen Daten durch die Wich- 
tungskoeffizienten multipiiziert werden, um so zu er- 
mSglichen, daB die Wichtung am Randabschnitt des 
dreidimensionalen Fensters gering ist So kann auch 
dann, wenn Stein oder Baume und Pflanzen in das drei- 
dimensionale Fenster fallen, der daraus resultierende 
EinfluB wirksam herabgesetzt werden, so daB ein linea- 
rer Ausdruck einer weiBen Unie stabil abgeleitet wer- 
den kann. 

Der StraBenformbeurteilungsabschnitt 114 beurteilt 
die Plausibilitat aus der Parallelitat in der horizontalen 
Richtung und der vertikalen Richtung bezogen auf Kan- 
didaten sowohl fur das lineare Element Ld auf der linken 
als auch rechten Seite in Verbindung mit den jeweiligen 
Abschnitten. Fur den Fall daB der StraBenformbeurtei- 
lungsabschnitt 114 solche Kandidaten als plausibei infol- 
ge des Ergebnisses der Beurteilung beurteilt hat, nimmt 
dieser Abschnitt 114 beide als Kandidat fur ein neues 
lineares Element Ld an. Hat demgegenuber der Beurtei- 
lungsabschnitt 114 festgestellt, daB einer der Kandida^ 
ten des linken und rechten linearen Elements Ld nicht 
korrekt ist, ffihrt er eine Substitution oder Erganzung 
(Kompensation) aus. Dann gibt der Beurteilungsab- 
schnitt 114 Parameter jeweiliger linearer Elemente Ld, 
die so gewonnen wurden, an den StraBen-Zdreidimen- 
sionalen Parameterspeicher 130 aus. 

Dabei wird die Parallelitat in der horizontalen Rich- 
tung konkret aus einer Differenz zwischen einem Para- 
meter (im folgenden wird eine Bezeichnung benutzt, bei 
der die Buchstaben L und R, die den jeweiligen Parame- 
tem zugefflgt sind, jeweils die linke bzw. rechte Seite 
anzeigen) aL der Gleichung (9) bezfigiich des linearen 
Elements Ld auf der linken Seite imd einem Parameter 
aR der Gleichung (9) bezfiglich des linearen Elements 
Ld auf der rechten Seite bestiromt und untersucht. Als 
Folge beurteilt fur den Fall, daB die Parallelitat fiber 
einem festgelegten Wert (beispielsweise 5 Grad) liegt, 
der Beurteilungsabschnitt 114, daB ernes der linken und 
rechten linearen Elemente Ld nicht korrekt ist In ahnli- 
cher Weise untersucht der Beurteilungsabschnitt 114 
die ParaUelit&t in vertikaler Richtung aus der Differenz 
zwischen einem Parameter cR und einem Parameter cL, 
um zu beurteilen, daB eines der linearen Elemente ffir 
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den Fail nicht korrekt ist, daB die ParallelitSt 0ber einem 
festgelegten Wert (z. B. 1 Grad) liegt 

FQr den Fall, daB beide Parallelitaten in horizontaler 
und verdkal r Richtung die Bedingung nach dem Beur- 
teilungsergebnis erfiillexi, werden beide Parallelitaten 5 
als neues lin ares Element angewandt Wird Jedoch ei- 
nes der linearen Elemente Ld als unkorrekt beurteilt, 
vergleicht der Beurteilungsabschnitt 115 Kandidaten 
der jeweiligen linken und rechten linearen Elemente Ld 
und die Position einer zuvor abgeschatzten StraBen- 10 
form, um einen Kandidaten, der einen geringeren Dis- 
krepanzbetrag aufweist, als neues iineares Element Ld 
abzuschatzen und die anderen zuruckzuweisen, um zu 
berQclcsichtigen, daB kein Kandidat fur das lineare Ele> 
ment vorliegt. 15 

Fiir den Fall, daB irgendeines der linken und rechten 
linearen Elemente Ld so beurteilt wird, daB es infolge 
des Beurteilungsergebnisses keinen Kandidat aufweist, 
fflr den Fall, daB Daten fehlen, well die weiBen Linien 
auf der StraBe in unterbrochener Form vorliegen oder 20 
hinter Hindemissen auBer Sicht geraten, so wird jedes 
der Linken und rechten linearen Elemente Ld so beiu-- 
teilt, daB es keinen Kandidaten aufweist, und es wird ein 
Iineares Element Ld auf der erfaBten Seite einer Paral- 
lelverschiebung unterzogen und fiir das lineare Element 25 
ersetzt, das so beurteilt war, daB es keinen Kandidaten 
aufwies. Ferner wird fOr den Fall, bei dem sowohl das 
linke als auch das rechte lineare Element Ld keinen 
Kandidaten aufweisen, ein Iineares Element Ld der zu- 
vor abgeschatzten StraBenform ersetzt So kann auch 30 
dann, wenn teilweise fehlerhafte Detektion und/oder 
Detektionsausfalle vom linearen Element vorliegen* ins- 
gesamt eine stabile StraBenform gewonnen werden. 

Die Fig. 18 ist eine erlautemde Ansicht, in der die 
StraBenform, die von dem StraBendetektorabschnitt 35 
110 erfaBt worden ist, schematisch angedeutet ist Wie 
aus dieser Figur hervorgeht, werden lineare Elemente 
entlang linker und rechter weiBer Linien detektiert Der 
Abschnitt, der hinter einem vorausfahrenden Fahrzeug 
auBer Sicht ger&t, wird in zufriedenstellender Weise da- 40 
durch abgeschdtzt, daB wie oben beschrieben ein Ersatz 
Oder eine Kompensation ausgeftihrt werden. Es sei an- 
gemerkt, daB die Querlinien zwischen linken und rech- 
ten linearen Elementen Grenzen zwischen den jeweili- 
gen Abschnitten sind. 45 

Die jeweiligen Funktionen des Objektdetektorab- 
schnitts 121, des Erzeugungsabschnitts 122 fur das drei- 
dimensionale Fenster und des Objektkonturen-Biidex- 
trakdonsabscfanitts 123 im Objekterkennungsabschnitt 
120 werden nun detailliert besduieben. 50 

Der Objektdetektorabschnitt 121 unterteilt dn Di- 
stanzbild von der Verarbeitungsvorrichtung 20 fiir das 
Stereobild fOr jedes vorbestinunte Intervall (beispiel- 
weise ein Intervall von 8 bis 20 Pixeln) in ein Raster, um 
nur Daten von dreidimensionalen Objekten zu selektie- 55 
ren, die ein Hindemis beim Befahren jeweils jedes Be- 
reiches darstellen kdnnten. tun diese Detektionsdistanz 
zuberechnen. 

Die Fig. 19 ist eine erlSutemde Ansicht, in der eine 
Region in einer Rasterform auf einem Bild vorgesehen eo 
ist, das eine vorbesdmmte Leuchtdichte aufwdst, die 
durch Abbilden einer Szene vor einem Fahrzeug 1 ge- 
wonnen wird. In der Praxis wird das Distanzbild der 
Fig. 9 auf diese Weise imterteilt In diesem AusfGh- 
rungsbeispiel wird das Distanzbild in dreiunddreiBig 65 
kleine Regionen mit einem Intervall von 12 Pixeln un- 
terteilt So wird namlich ein Bild in eine groBen Anzahl 
von Region n unterteilt, um Objekte zu suchen, so daB 
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es mdglich ist, mehrere Objekte gleichzeitig zu detektie- 
ren. 

Ein Objekt in jeder Region wird wie folgt berechnet 
Die dreidimensionalen Positionen pC, Y, Z) eines realen 
Raumes werden nimlich unter Verwendung der zuvor 
beschriebenen Gleichung n (3) und (4) aus den Koordi- 
naten (i, j) auf dem Bild und der Distanz Z berechnet 
Ferner wird die Hohe Yr von der StraBenoberfliche in 
der Distanz Z berechnet, indem die Gleichung (10) der 
zuvor detektierten StraBenform verwendet wird. Dabei 
wird namlich die H6he H von der StraBencberflache 
eines Objekts durch Verwenden der folgenden Glei- 
chimg (11) berechenbar. 

H = Y-Yr (11). 

Ein Objekt, das eine Hohe aufweist, die geringer als 
etwa 0,1 m ist wird als weiBe Linie vorausgesetzt, als 
Stein Oder als Schatten auf einer StraBe. DemgemS^B 
wird ein solches Objekt nicht als ein Objekt beurteilt 
das ein Hindemis beim Fahren darsteUt. Aus diesem 
Grund werden die Daten eines derartigen Objekts ver- 
worfen. Da ein Objekt mit einer grdBeren Hohe als der 
des Fahrzeuges auch als FuBgangerbrQcke oder z. B. 
Verkehrszeichen-Pfosten usw. angesehen wird, werden 
auch dementsprechende Daten ziu*uckgewiesen, um nur 
Daten eines dreidimensionalen Objekts zu selektieren, 
die tatsadilich ein Hindernis auf einer StraBe darstellen. 
So werden, auch wenn ein Objekt auf einem zweidimen- 
sionalen Bild mit einer StraBe usw. Oberlappt Daten 
durch die Hdhe von der StraBenoberflache beurteilt und 
unterschieden, wodurch es mdglich ist nur ein Objekt zu 
detektieren. 

Dann wird die Anzahl von Daten, die im Abschnitt 
der Distanz Z, die vorab festgelegt wurde, enthalten 
sind, bezuglich der Daten eines dreidimensionalen Ob- 
jekts, das auf diese Weise extrahiert wurde, gezahlt um 
so ein Histogramm vorzubereiten, das die Distanz Z als 
Abszisse aufweist Die Fig. 20 ist ein Histogramm, in 
dem ein vorausfahrendes Fahrzeug 500 als ein zu erfas- 
sendes Objekt dargestellt ist 

Es ist erforderlich, die Lange des Abschnitts und die 
Anzahl von Abschnitten der Distanz Z, die unter Be- 
rQcksichtigung der Detektionsgrenze und Genauigkeit 
der Distanz Z festzulegen ist, und die Form eines Ob- 
jekts, das zu erfassen ist zu ermitteht Bei^ielsweise ist 
fOr den Fall des Fahrens auf einer SchnellstraBe anzu- 
streben, daB die Abschnittsldnge um 10 m vor dem 
Fahrzeug etwa 1,5 m betr&gt und die Abschnittsiange 
bei 100 m vor dem Fahrzeug etwa 15 m beti^t 

Im oben erwShnten Histogranun erscheinen. da feh- 
lerhaft erfafite Werte in Distanzdaten in einem eingege- 
benen Distanzbild exisderen, Daten bis zu einem gewis- 
sen Grad an einer Steile, an der tatsSLchlich kein Objekt 
vorhanden ist Ist jedoch ein Objekt einer Ausdehnung 
bis zu einem gewissen MaB vorhanden, so zeigt die Fre- 
quenz bei dieser Position einen grofien Wert an. Exi- 
stiert demgegenaber kein Objekt, so nimmt die Fre- 
quenz oder Hautigkeit die bei nur f ehlerhaften Distanz- 
daten auftritt, einen geringen Wert an. 

Palte demgemftB ein Abschnitt vorliegt der grdBer als 
ein Beurteilungswert ist, der vorab festgelegt ist, und 
einen Maximalwert in der Frequenz des vorbereiteten 
Histogramms annimmt so wird daraus geschlossen, daB 
in diesem Abschnitt irgendein Objekt vorliegt FQr den 
entgegengesetzten Fall, bei dem der Maximalwert der 
Frequenz geringer als der Beurteilungswert ist wird 
gesc^ssen, daB kein Objekt vorhanden ist So ist es 
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auch fur den Fall, daB bis zu einem gewissen AusmaB 
Rauschen in den Bilddaten vorhanden ist, mdglich, ein 
Objekt zu detektieren, wobei der RauscheinfluB so ge- 
ring wie mdglich gemacht werden kann. 

Wenn geschlossen wird, daB ein Objekt vorliegt, wird 
ein Durchschnittswert der Distanz Z von Daten eines 
dreidimensionalen Objekts, das in einem detektierten 
Abschnitt und in davor und danach benachbarten Ab- 
schnitten enthalten ist, berechnet, um diesen Wert als 
eine Distanz bis zu diesem Objekt zu berucksichtigen. 

Eine derartige Verarbeitung der detektierten Distanz 
zum Objekt wird danach bezQglich des gesamten Be- 
reichs durchgefuhrt, um die Detektionsdistanz des Ob- 
jekts in den jeweiligen Bereichen zu untersuchen, wo- 
. durch, wenn eine Differenz zwischen den Detektions- 
distanzen bis zum Objekt in aneinandergrenzenden Be- 
reichen geringer als ein festgelegter Wert ist, diese Di- 
stanzen als zum selben Objekt gehorig betrachtet wer- 
den, wohingegen, wenn diese Differenz uber dem fest- 
gelegten Wert liegt, die entsprechenden Dbtanzen als 
zu individuelien Objekten gehdrend betrachtet werden. 

Dabei wird explizit der linke Endabschnitt ARl zuerst 
untersucht Wird ein Objekt detektiert, so wird infolge- 
dessen angenommen, daB das detektierte Objekt und 
seine Distanz jeweils durch SI bzw. Zl reprasentiert 
werden. Dann wird der Bereich AR2 angrenzend an die 
rechte Seite untersucht Wird kein Objekt detektiert, so 
wird infolgedessen geschlossen, daB das Objekt SI in- 
nerhalb des Bereichs ARl liegt und in dessen Umge- 
bung und die Distanz hiervon wird durch Zl ausge- 
drUckt Wird demgegenuber ein Objekt detektiert und 
dessen Detektionsdistanz durch Zl reprasentiert, so 
wird die Differenz zwischen den Distanzen Zl und Z2 
imtersucht 

liegt die Differenz zwischen den Distanzen Zl und 
Z2 oberhalb eines festgelegten Werts, wird daraus ge- 
schlossen, daB ein Objekt im Bereich AR2 vom zuvor 
detektierten Objekt SI verschieden ist. Es wird dann 
angenommen, daB das Objekt und die Distanz hiervon 
jeweils durch S2 und 22 reprasentiert sind, um dann 
Bereiche, die welter angrenzend an den Bereich AR2 
vorliegen, zu untersuchen. 

Ist andererseits eine Di^erenz zwischen den Distan- 
zen Zl und Z2 geringer als ein festgelegter Wei% so 
wird geschlossen, dafi das im Bereich AR2 detektierte 
Objekt auch das zuvor detektierte Objekt SI ist, und 
dessen Distanz wird als mittlerer Wert der Distanzen Zl 
tmd 22 angenommen, um auf dieser Gnrndlag^ weiter in 
dieser Folge angrenzende Objekte zu untersucnen. Falls 
geschlossen wird, daB die Objekte SI kontinuierlich vor- 
liegen, so werden infolgedessen die Distanz und die exi- 
stierenden Bereiche entsprechend aktualisiert. 

Bislang war es fflr den Fall, daB ein femer Hinter- 
grund eines Objekts auf einem zweidimensionalen Bild 
voriag, schwierig, nur Daten dieses Objekts zu extra- 
hieren. Im Gegensatz hierzu wird gemSiQ der Erfindung 
die oben beschriebene Verarbeitung vom iinken Endbe- 
reich ARl bis zum rechten Endbereicb AR33 so durch- 
gefOhrt, daB Daten durch Distanzwerte unterschleden 
werden, wodurch es moglich wird, eine Mehrzahl von 
Objekten zu detektieren, die Distanzen hierzu und ihre 
vorhandenen Bereiche in einer Weise, daB sie vom Hin- 
tergrund imterschieden werden konnen, Dariiberhinaus 
ist es auch fOr den Fall, daB mehrere Objekte sich auf 
einem zweidimensionalen Bild Qberlappen, moglich, sie 
in einer soichen Weise zu erfassen, daB durch die Unter- 
schiede zwischen den Distanzen der jeweiligen Hinder- 
nisse zwischen den Objekten unterschleden werden 
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Es sei angemerkt, daB es empirisch bestatigt ist, daB 
der oben festgelegte Wert fur den Fall der Erfassung 
eines Automobils etwa 4 bis 6 m betragt und etwa 1 bis 
5 2m betragt, fur den Fall, daB ein FuBganger erfaBt wird. 
Die Fig. 21 zeigt vorhandene Objektbereiche, die 
durch die oben erwahnte Verarbeitung durch Rahmenli- 
nien detektiert werden. In diesem Beispiel sind drei Ob- 
jekte erfaBt Femer sei darauf hingewiesen, daB die nu- 
10 merischen Werte an der unteren Kante der Figur die 
erfaBten Distanzen zu den jeweiligen Objekten skd. 

Der Erzeugungsabschnitt 122 f Or das drekiimensiona- 
le Fenster setzt einen zweiten dreidimensionalen Raum- 
bereich eines reditwinkligen Quaders fest, dk, ein 

IS zweites dreidimensionales Fenster WD3B (im folgenden 
der Einfachheit halber dreidimensionales Fenster 
WD3B bezeichnet), das ein Detektionsobjekt (voraus- 
fahrendes Fahrzeug) 500 in einem dreidimensionalen 
Raum enthalt, wie m Fig. 22 bezQglich der jeweiligen 

20 Objekte dargestellt ist, die vom Objektdetektorab- 
schnitt 121 erfaBt worden sind, um durch Berechnung zu 
ermitteln, wie das so festgelegte dreidimensionale Fen- 
ster auf einem zweidimensionalen Bild erscheint, um zu 
ermdglichen, daB nur die Daten innerhalb des zweidi- 

25 mensionalen Fensters WD2B, das durch die Fensterkon- 
turlinlen definiert ist, Daten sind, die zu erfassen sind. 

Die seitliche Breite des Objekt detektierenden dreidi- 
mensionalen Fensters WD3B ist auf einen Bereich fest- 
gelegt, der bezuglich des vorhandenen Bereichs eines 

30 Objekts um einen Bereich nach links und nach rechts 
erweitert ist Der Gnmd fiir die Annahme eines soichen 
Bereichs ist wie folgt Fiir den Fall, daB nSmlich nur ein 
Abschnitt des linken od^r rechten Endes eines Objekts 
innerhalb eines bestinmiten Bereiches fallt, nlmmt die- 

35 ses Objekt nicht mehr langer einen groBen Wert auf 
dem Histogramm ein, woraus die Mdglichkeit resultiert, 
daB ein anderes Objekt detektiert wird. Aus diesem 
Grund ist der Fensterbereich unter BerQcksichtigung 
eines derartigen Falls erweitert 

40 Die Lange in einer Richtimg der Distanz Z des dreidi- 
mensionalen Fensters WD3B ist auf einen Bereich fest- 
gelegt, der gewonnen wird, indem dne Abschnittsiange 
des Histogranuns in der Detektionsdistanz des Objekts 
zu den Detektionsdistanzen vor und nach dieser Ab- 

45 schnlttslinge hinzu addiert wird. Das tmtere Ende des^ 
dreidimensionalen Fensters WD3B wird auf eine Posi- 
tion festgelegt, die gewonnen wird, indem etwa 0,1 m 
zur Hdhe von der der StraBenoberfl^che addiert wird, 
und das obere Ende des Fensters wird als die oberen 

50 Enden in den jeweiligen Bereichen festgelegt, die zur 
Detektion eines Objekts unterteilt sind. 

Es sei angemerkt, daB die Verarbeitung zum Gewin- 
nen des objektdetektierenden zweidimensionalen Fen- 
sters WD2B aus dem objektdetektierenden dreidimen- 

55 sionaien Fenster WD3B dieselbe wie die Verarbeitung 
ist, die bereits fiir den Erzeugungsabschnitt 112 des drei- 
dimensionalen Fensters des StraBendetektorabschnitts 
1 10 beschrieben wurde. 
Die Fig. 23 zeigt ein Beispiel, in dem ein zweidimen- 

60 sionales Fenster WD2B bezuglich eines dreier Detek- 
tionsobjekte festgelegt ist, die bereits in Fig. 21 gezeigt 
sind. 

Der Objektkonturenextraktionsabschnitt 123 fuhrt 
eine Verari:>eitung durch, um in der Aufeinanderfolge 
65 jeweiiiger Daten innerhalb des zweidimensionalen Fen- 
sters WD2B sicherzustellen, daB nur Daten selektiert 
werden, die innerhalb des dreidimensionalen Fensters 
WD3B enthalten sind, um ein Konturenbild eines detek- 
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tierten Objekts zu extrahieren, um die AusmaBe oder 
Betrage positioneller Beziehung bezuglich des in Frage 
stehenden Autos bzw. Fahrzeugs wie Position, Ge- 
schwindigkeit oder Beschleunigung usw. von einem zu 
erfassenden Objekt zu detektieren und so die Wahr- 
scheinlichkeit einer KoUision zu beurteilen- 

Dabei werden namlich die Daten innerhalb des zwei- 
dimensionalen Fensters WD2B aufeinanderfolgend filr 
jedes Objekt zur Berechnung dreidiraensionaler Posi- 
tionen (X, Y, Z) uberwacht, indem die zuvor beschriebe- 
nen Gleichungen (3) und (4) bezuglich der Pixel verwen- 
det werden, die Pixeldaten aufweisen, wobei anschlie- 
Bend nur Daten extrahiert werden, bei denen der Wert 
der Distanz oder die H5he innerhalb des Bereichs des 
dreidimensionalen Fensters WD3B Uegen, und wobei 
andere Daten zuruckgewiesen werden. 

Wenn auf diese Weise extrahierte Daten auf ein zwei- 
dimensionales Bild projiziert und dargestellt werden, 
wird z. B. ein in Fig. 24 gezeigtes Bild gewonnen. Wenn 
die Aufienbereiche dieser Daten durch Liniensegmente 
verbunden werden, so wird ein Konturenbild eines Ob- 
jekts gewonnen, wie es in Fig. 25 gezeigt ist Wenn die 
Koordinaten (i, j) auf dem Bild an dem linken und rech- 
ten Ende und dem oberen Ende dieses Konturenbildes 
anschlieBend detektiert werden, um Positionen der lin- 
ken und rechten Enden und des oberen Endes in einem 
dreidimen^onaien Raum zu berechnen, indem die De- 
tektionsdistanz Z dieses Objekts und die Gleichungen 
(3) und (4) verwendet werden, dann wird die seitliche 
Ausdehnung des Objekts aus den Posidonen der linken 
und rechten Enden ermittelt, und es wird die Hdhe des 
Objekts aus der Position des oberen Endes ermittelt 

In Fig. 25 weist dieses unterscheidbare Objekt eine 
Breite von 1,7 m und eine Hdhe von 13 m auf. 

Ferner werden die Mittenpositionen pC. Z) der linken 
und rechten Enden des Objekts berechnet Eine Reladv- 
geschwindigkeit in Vorwarts- und Riickwartsrichtung 
vom Objeirt, gesehen von einem entsprechenden Fahr- 
zeug (Fahrzeug 1), wird berechnet Ferner wird eine 
Relativgeschwindigkeit in linker und rechter Richtung 
aus einer zeitlichen Anderung der Position X in der 
linken und rechten Richtung berechnet DarOberfiinaus 
wird, wenn die Relativgeschwindigkeit des Objekts zur 
Fahrgeschwindigkeit des entsprechenden Fahrzeugs 
hinzu addiert wird,- die vom Geschwindigkeitssensor 3 
ausgegeben wird, eine Fahrgesdiwindigkeit des Objekts 
relativ zur StraBenoberfiadie berechnet 

Beschleunigungen jeweiliger Objekte werden aus den 
zeitlichen Anderungen der Fahi^chwindigkeit be- 
rechnet 

Darauf folgend werden die Po^tionen jeweils erf aBter 
Objekte und die Positionen von Fahrbahnen einer de- 
tektierten StraBe mitemander verglichen, um zu unter- 
suchen. ob das Objekt auf einer entsprechenden Fahr- 
bahn oder Fahrbahnen auf der linken und rechten Seite 
Oder in einem Bereich ausschiieBIich der StraBe vorhan- 
den ist, um bezOglich jedes Falls eine Sortierung vorzu- 
nehmen, Beispielsweise werden fur den Fall, daB mehre- 
re Fahrzeuge vor dem entsprechenden in Frage kom- 
menden Fahrzeug fahren und die StraBe gekrOmmt ist, 
Positionen der jeweiligen Objekte entiang der Fahrrou- 
te verglichen. So wird von einem Objekt, das am weite- 
sten vom auf der entsprechenden Fahrbahn vorhanden 
ist, geschlossen, daB es ein vorausfahrendes Fahrzeug 
ist, imd eine Distanz bis zu diesem Objekt wird als eine 
Distanz zwischen Fahrzeugen angesetzt 

Dann wird eine Naherung angewandt, um Positionen 
in einigen Sekunden d r jew iligen Objekte von den 



detektierten Positionen aus abzuschatzen sowie die 
Fahrgeschwindigkeiten und B schleunigungen in Vor- 
und Rflckwartsrichtung und in Richtungen nach links 
und rechts der jeweiligen Objekte, und um die Positio- 
5 nen in einigen Sekunden unter der Annahme abzuschat- 
zen, daB ein entsprech ndes Fahrzeug gemiB einer 
Fahrbahn einer detektierten StraBe oder eines gegen- 
wartigen Lenkwinkels i^hrt, um hierdurch die jeweili- 
gen Positionen jeweiliger Objekte und des entsprechen- 
10 den Fahrzeuges zu vergleichen, um die Mdglichkeit ei- 
ner KoUision zwischen diesen zu beurteilen. 

Parameter wie Position, Form, Geschwindigkeit und 
Beschleunigung jeweiliger Objekte und *e Mdglichkeit 
der KoUision usv/^ die wie oben ermittelt wurden, wer- 
15 den an den StraBen- und dreidimensionalen Parameter- 
speicher 130 ausgegeben und darin gespeichert 

Die Berechnung der Distanzinformation durch die 
Verarbeitungsvorrichtung 20 f iir das Stereobild und die 
Funktionsweise der StraBen- und dreidimenaonaien 
20 Detektorvorrichtung werden mm erlautert 

Zunachst wird unter Bezugnahme auf das FluBdia- 
gramm der Kg. 26 die Funktionsweise der Verarbei- 
tungsvorrichtung 20 fur das Stereobild beschrieben. 
Wenn durch die CCD Kameras 11a und lib aufgenom- 
25 mene BUder im Schritt SlOl eingegeben werden, setzt 
die Verarbeitungsvorrichtung 20 die eingegebenen Bil- 
der im Schritt S102 durch eine A/D Umsetzung um, um 
dann derartige digitale Bilddaten mit den LUTs 32a und 
32b zu korrigieren und sie anschlieBend in den Bildspei- 
30 chem33aund33bzuspeichenL 

Die Bilder, die in den Bildspeichem 33a und 33b ge- 
speichert sind, sind nur die Abtastzeilen, die far die dar- 
auf folgende Verarbeitung samtlicher AbtasUeUen der 
CCD-Vorrichtung der CCD-Kameras 11a und lib er- 
35 forderUch sind. Beispielsweise werden diese BUddaten 
z. B. mit einer Rate von jeweils 0,1 s (mit einer Rate von 
jeweUs aUen drei FernsehbUdem) uberschrieben. 

Wenn dann der Verfahrensablauf auf Schritt S103 
fortschreitet, werden die linken und rechten Bilddaten 
40 z. B. vier ZeUen gleichzeitig aus dem linken und rechten 
Bildspeicher 33a bzw. 33b tiber den gemeinsamen Bus 
80 ausgelesen und in die Puff erspeicher 41a und 41b, 42a 
und 42b emgegeben, wobei eine Abstimmung der linken 
und rechten BUder als Koinzidenzevaluierung erf olgt 
45 In diesem AugenbUdc werden fflr jedes Unke und 
rechte Bild ein Auslesevorgang aus den BUdspeichern 
33a und 33b in die Eingangspufferspeicher 41a, 41b, 42a 
und 42b und ein Schreibvorgang in die Schieberegister 
43a, 43b, 44a und 44b aitemierend durchgefiihrt 
50 Beispielsweise wird bezuglich eines Unken BUdes, 
wahrend die Bilddaten aus dem Bildspeicher 33a in ei- 
nen der Eingangspufferspeicher 41a eingelesen werden, 
ein Schreibvorgang der Bilddaten durchgefuhrt, die aus- 
gelesen wurden, und zwar vom anderen Eingangspuf- 
55 ferspeicher 41b in das Schieberegister 43b. Andererseits 
wird bezuglidi eines rediten BUdes, wahrend die BUdda- 
ten aus dem BUdspeicher 33b m einen Eingangspuffer- 
speicher 42a gelesen werden, ein Schreibvorgang der 
BUddaten, die gelesen wiirden, aus dem anderen Ein- 
60 gangspuff erspeicher 42b in das Schieberegister 44b aus- 
gefOhrt 

Dann werden, wie in Fig. 27 gezeigt ist, BUddaten (1.1) 
. . . (4,4) in der klehien Region von 4x4 Pixehi fiir linke 
und rechte BUder in den Schieberegistem 43a, 43b, 44a 
65 und 44b gehalten. Daten fur die erste und zweite ZeUe 
werden dann in einem der Schieberegister 43a (44a) 
gehalten und Daten fOr die dritte und zweite ZeUe wer- 
den im anderen Schieberegister 43b (44b) in der ReUien- 
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folge der ungeradzabligen Zeilen und geradzahligen 
Zeilen fQr jeweils jedes Pixel gehalten. 

Die Schieberegister 43a, 43b, 44a und 44b haben je- 
weils unabhangige Obertragungszeilen und Daten von 4 
X 4 Pixeln werden in acht Takten ubertragen. Dann 
geben diese Schieberegister 43a, 43b, 44a und 44b simul- 
tan die Inhalte der geraden Stufen der acht Stufen an die 
city-block-Distanzberechnungsschaltung 45 aus. Wenn 
die Berechnung der city-block Distanz H beginnt, wer- 
den die Daten des rechten Bildes im Schieberegister 44a 
und 44b gehalten und die Daten der ungerade numerier- 
ten Zeilen und der gerade numerierten Zeilen werden 
altemierend taktweise ausgegeben. Andererseits wer- 
den fortgesetzte Daten des linken Bildes zu den Schie- 
beregistern 43a und 43b Qbertragen, Datien werden 
durch Daten ersetzt, die alle zwei Takte um ein Pbcel 
nach rechts verschoben werden, wahrend Daten unge- 
rade numerierter Zeilen und gerade numerierter Zeilen 
altemierend ausgegeben werden. Dieser Vorgang wird 
wiederholt, bis Daten z. B. um 100 Pbcel (200 Takte) 
verschoben sind. 

1st die Obertragung beziiglich einer kleinen Region 
abgeschlossen, wird der Inhait des AdreBzahlers fflr das 
rechte Bild (Fuhrungsadresse m der nachsten kleinen 
Region von 4x4 Pbceln) am AdreBzahler des linken 
Bildes im #2 AdreBsteuerer 87 gesetzt So wird der 
Verarbeitungsvorgang fur die nachste kleine Region be- 
gonnen. 

In der city-block Distanzberechnungsschaltung 45 
werden, wie in der Zeitsteuertabelle der Fig. 28 gezeigt, 
die Daten von 8 Pbceln zuerst in den Absolutwertbe- 
rechner der ersten Stuf e der Pyramidenstruktur 1 einge- 
geben. So wird ein Absolutwert einer Differenz zwi- 
schen den linken und rechten Bildem berechnet.Genau- 
er ausgedruckt, wird ein Verfahren angewandt, bei dem 
von der Helligkeit oder Leuchtdichte des rechten Pbcels 
die Leuchtdichte des linken Pbcels, die dieser entspricht, 
abgezogen, wodurch wenn das Ergebnis negativ ist der 
Berechnungsbefehl getndert wird, um wieder eine Sub- 
traktion durchzufOhren, wobei die Seite von Subtrahent 
und Subtraktionswert vertauscht werden, um hierdurch 
die Berechnung des Absolutwerts durchzufOhren. Dem- 
gemaB gibt es Falle, bei denen die Subtraktion in der 
ersten Stuf e zweimal ausgefiihrt wird. 

Danach addieren nach Verstreichen der Anf angsstuf e 
der erste bis dritte Addierer von der zweiten bis vierten 
Stufe die beiden Eingangsdaten, die gleichzeidg einge- 
geben wurden und geben das Additionsergebnis aus. 
Dann wird eine Gesamtsumme durch AdcUtion zweier 
kontinuieriicher Daten an der Endstufe berechnet, um 
die erforderliche city-block Distanz H von 16 Pbceln alle 
zwei Takte zum Minimal/Maximalwertdetektorab- 
schnitt 50 auszugeben. 

Dann schreitet die Verarbeitungsprozedur mit Schritt 
Si04 fort, um einen Maximalwert Hmax und einen Mi- 
niraalwert Hmin der city-block Distanz H zu ermittehi, 
die im Schritt S3 berechnet wurde. Wie bereits eriautert, 
entsprechen die Ermittlung des Maximalwerts Umax 
und des Minimaiwerts Hmin exakt einander, auBer daB 
die Logiken im ersten Fall imd im letzteren Fall entge- 
gengesetzt zueinander sind, und daB der Abweichungs- 
betrag nicht gehalten wird. Dementsprechend wird die 
Ermittlung des Minimalweru Hmin a!s reprasentatives 
Beispiel im folgenden beschrieben. 

Zun^chst wird die anfanglich ausgegebene city-block 
Distanz H (der Abweichungsbetrag 5 ist "0^ an das 
B-Register 46b der Rechnereinheit 46 uber den C-Sig- 
nalspeicher 53 der Minimalwertdetektorschaltung 51, 



die in Fig. 7 gezeigt ist, eingegeben. Die city-block Di- 
stanz H (fiir die der Abweichungsbetrag 1 ist), die fur 
den nSchsten Takt ausgegeben wird, wird in den C-Sig- 
nalspeicher 53 und das A-Register 46a der Rechnerein- 
5 heit 46 gegeben. 

So beginnt die Rechnereinheit 46 gleichzeitig die Be- 
rechnung des Vergleichs mit dem B-Register 46b. 

Falls das Ergebnis der Vergleichsberechnimg in der 
Berechnereinheit 46 ergibt, daB der Inhait des A-Regi- 
10 sters 46a kleiner als der Inhait des B-Register 46b ist, 
wird der Inhait des C-Signalspeichers 53 (d. h. der Inhait 
des A-Registers 46a) zum B-Register 46b Obertragen 
und der Abweichungsbetrag x zu diesem Zeitpunkt wird 
im D-Signalspeicher 55 gehalten. Durch diesen Takt 
15 wird die dty-block Distanz H (der Abweichungsbetrag 
8 betragt 2) in das A-Register 46a eingegeben und 
gleichzeidg in den C-Signalspeicher. So wird die Ver- 
gleichsberechnung emeut auf genommen. 
Auf diese Weise wird eine Berechnung fortgesetzt, bis 
20 der Abweichungsbetrag 100 wird, wahrend der Mini- 
raalwert in der Mitte der Berechnung stets im B-Regi- 
ster 46b gespeichert wird und der Diskrepanzbetrag zu 
diesem Zeitpunkt im D-Signalspeicher 55 gehalten wird. 
Wenn die Berechnung abgesdilossen ist (nach einem 
25 Takt vom Zeitpunkt an, bei dem die End-city-block Di- 
stanz H ausgegeben wirdX dann werden die Inhalte des 
B-Registers 46b und des D-Signalspeichers 55 in den 
Diskrepanzbestimmungsabschnitt 60 eingelesea Wah- 
rend dieser Zeitperiode wird ein Anfangswert in der 
30 nachsten kleinen Region in die dty-block Distanz Be- 
rechnungsschaitung 45 eingelesen, so daB diese Zeit 
nicht verschwendet wirci Man bendtigt vier Takte, um 
eine city-block Distanz H zu berechnen. Da eine Pipeli- 
nestruktur verwendet wird, wird ein neues Berech- 
35 nungsergebnls alle zwei Takte gewonnen. • 

Im Schritt SI 05 pruft, wenn der Minimalwert Hmw 
und der Maximalwert Hmax der city-block Distanz H 
im Schritt SI 04 bestimmt sind, der Diskrepanzbestim- 
mungsabschnitt 60 die drei oben erwSyhnten Bedingtm- 
40 gen. Auf diese Weise wird der Abweichungsbetrag bzw. 
das DiskrepanzausmaB bestimmt 

Wie aus dem Zeitsteuerdiagramm der Fig. 29 hervor- 
geht, wird der Minimalwert Hmin fiber den B-Bus 62b 
im B-Register 72 der Rechnereinheit 61 gespeichert 
45 bzw. verriegelt und der Schwellwert Ha, der mit dem- 
B-Register verglidien wird, wird im A-Rpgister 71 Ober 
den A-Bus 62a gespeichert Der Minimalwert Hmin und 
der Schwellwen Ha werden in der ALU 70 verglichea 
Ist infolgedessen der Minimalwert Hmin grdfier als der 
50 Schwellwert Ha. wird die Sdialtstufe 65 zurQckgesetzt 
und es wird imgeachtet der Ergebnisse der spater 
durchgef Qhrten PrOfvorgange 0 ausgegeben. 

Der Maximalwert Hmax wird dann im A-Register 71 
gespeidiert, und es wird eine Differenz zwischen dem 
55 Maximalwert Hmax* der im Register 71 gespeichert ist 
und dem Minimalwert Hmin, der im B-Register 72 ge- 
halten wird, berechnet Das so gewonnene Ergebnis 
wird an das F-Register 73 ausgegeben. Beim nSchsten 
Takt wird der Schwellwert Hb im A-Register 71 gespei- 
60 chert und wird mit dem Wert des F-Registers 73 vergli- 
chen. Falls der Inhait des F-Registers 73 kleiner als der 
Schwellwert Hb ist, der im A-Register 71 gespeichert ist, 
wird die Schaltstufe 65 auf gleiche Weise zurflckgesetzt 
Die Berechnung der Leuchtdichtedifferenz zwischen 
65 aneinandergrenzenden Pixeln beginnt von der Zeit- 
steuerung des nachsten Takts an. Ein paar Schieberegi- 
ster 64a und 64b, die dazu ausgelegt sind, die Hellig- 
keits- Oder Leuchtdichtedaten zu konservieren, weisen 



29 



•d 



E 43 08 776 C2 



f 



eine zehnstufige Konfiguration auf, und sind mil den 
darauffolgenden Stuf en des Schieberegisters 44a fOr die 
erste und zweite Zeile des city-block-Distanzberech- 
nungsabschnitts 40 verbunden, wobei das Schieberegi- 
ster 44b ffir die zweite iind dritte Zeile vorgesehen isL 
Jeweilige Ausgangssignale dieser Schieberegister 64a, 
64b werden aus der Endstufe entnommen und der um 
zwei vorausgehende Stufe. Die so gewonnenen Aus- 
gangssignale werden auf den A-Bus 62a und den B-Bus 
62b ausgegeben. 

In der Stufe, in der die Berechnung der Leuchtdichte- 
differenz beginnt, wird die Leuchtdichte an den jeweili- 
gen Stellen in der kleinen Region in den jeweiligen Stu- 
fen der Schieberegister 64a und 64b zurQckgehalten. 
Zuerst werden die letzten Leuchtdichtedaten der vier- 
ten Reihe und der ersten Spake in der kleinen Region 
und die gerade vorliegenden Leuchtdichtedaten der er- 
sten Reihe und der ersten Spalte in der kleinen Region 
im A-Register 71 und dem B-Register 72 der Rechner- 
einheit 71 gespeichert 

Dann wird ein Absolutwert einer Differenz zwischen 
dem Inhalt des A-Registers 71 und dem Inhalt des B-Re- 
gisters 72 berechnet und das berechnete Ergebnis im 
F-Register 73 gespeichert. Der Schwellwert He wurde 
dann im A-Register 71 durch den nachsten Takt gespei- 
chert bzw. verriegelt und wird mit dem Wert des F-Re- 
gisters 73 verglichen. 

Falk das Vergleichsergebnls der Rechnereinheit 61 
anzeigt, daB der Inhalt des F-Registers 73 (Absolutwert 
der Leuchtdichtedifferenz) groBer als der Inhalt des 
A-Registers (Schwellenwert He) ist, dann gibt die 
Schaitstufe 65 entweder den Abweichimgsbetrag 6 oder 
"(f aus. Falls jedoch der Inhalt des F-Registers 71 gerin- 
ger als der Inhalt des A-Registers ist, wird "0" ausgege- 
ben und in einen Speicherbereich der ersten Reihe und 
der ersten Spalte der entsprechenden kleinen Regionen 
der Ausgangspufferspeicher 66a und 66b etngeschrie- 
ben. 

WShrend der Vergleich zwischen dem Schwellenwert 
He und der Leuchtdichtedifferenz zwischen aneinander- 
grenzenden Pixebi in der Rechnereinheit 61 durchge- 
fuhrt wird, werden die Schieberegister 64a und 64b um 
eine Stufe verschoben. Dann wird eine Beredmung wie- 
derum bezQglidh der letzten Leuchtdichtedaten der 
vierten Reihe imd der zweiten Spalte der kleinen Re- 
gion und gegenwardgen Leuchtdichtedaten der ersten 
Reihe und der zweite Spalte in der gegenwartigen klei- 
nen Region begonnen. Auf diese Weise wird bezuglich 
der ersten Spalte und der zweiten Spalte der kleinen 
Region jeweils eine nach der anderen eme Berechnung 
ausgef uhrt und die Berechnung wird bezaglich der drit- 
ten und der vierten Spalte derselben Region durchge- 
fuhrt 

Durch eine derartige Berechnung sind die Endstufe 
und die Anfangsstufe der Schieberegister 64a und 64b 
zin: Bildung eines ringartigen Schieberegisters verbun- 
den. Wenn der Verschiebungstakt zweifach addiert 
wird, wenn die Berechnung der gesamten kleinen Re- 
gion abgeschlossen wird, kehrt der Inhalt des Registers 
auf den Zustand zurUck, in dem er keiner solchen Rech- 
nung unterzogen wird. Ist die Obertragung der Leucht- 
dichtedaten der nachsten kleinen Region abgeschlossen, 
werden die Daten der vierten Reihe der gegenwSrtigen 
kleinen Region in der Endstufe und der vorausgehenden 
Stufe gespeichert 

Wie oben ausgesagt, wird, da die nachsten Daten auf 
dem A-Bus 62a, dem B-Bus 62b vorbereit t werden oder 
deren Ergebnisse wahrend der Berechnung fOr die Be- 
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stimmung eines Abweichungsbetrages eingeschrieben 
werden, eine Date durch zwei fiir (tie Berechnung erfor- 
derliche Takte verarbeitet Inf olgedessen werden samt- 
liche Berechnungen beispieisweise in 43 Takten abge- 
schlossen, auch, wenn die PrOfung des Mimmalwerts 
Hmin und des Maximalwerts Hmax> die anfdngiich er- 
folgt, eingeschlossen ist 

Folglich gibt es ausreichenden Spielraum fOr die er- 
forderliche Zeit fur die Bestunmung des Minimalwerts 
Hmin und des Maximalwerts Hmax der dty-block Di- 
stanz bezuglich emer einzehien kleinen Region. Falls 
erforderlicC kdnnen weitere Funktionen durdigefOhrt 
werden. Wenn der Abweichungsbetrag 5 bestimmt ist, 
wird der Abweichungsbetrag im Schritt SI 06 als (He 
Distanzverteilungsinformation von den Ausgangspuf- 
ferspeichem 66a und 66b zum Dualportspeicher 90 aus- 
gegebea So ist die Verarbeitung in der Verarbeitimgs- 
vorrichtimg 20 fur das Stereobild abgeschlossen. 

Diese Ausgangspufferspeicher 66a und 66b weisen 
eine Kapazitat von beispieisweise vier Zeilen ahnlich 
den Eingangspufferspeichem 41a, 41b, 42a und 42b auL 
wahrend Daten in einen Satz von Speichem einge- 
schrieben werden, wird die Distanzverteilung aus dem 
anderen Satz von Speichem ausgesendet 

Die Distanzverteilungsinformation, die in den Dual- 
portspeicher 90 eingeschrieben wird, ermoglicht die Be- 
rechnung der dreidimensionalen Position im XYZ- 
Raum des Objekts entsprechend den jeweiligen Pbceln 
aus den optischen Systemparametem wie der Befesti- 
gungsposition der CCD-Kameras 11 und 12 und der 
Brennweite und ermoglicht die genaue Detekdon der 
Distanz bis zu einem Objekt aufierhalb eines Fahrzeugs 
ohne Verringerung der Informationsmenge. 

Die Zeitsteuerung der Verarbeitungsvorrichtung 20 
fur das Stereobild wird nun unter Bezugnahme auf das 
Zeitsteuerdiagramm der Fig. 30 beschrieben. 

Zunachst werden samtliche Teilbildsignale der Imken 
und rechten CCD-Kamera 11a und lib, die zueinander 
synchronisiert sind, in die Bildspeicher 33a und 33b je- 
weils alle 0.1 s (mit einer Rate von 1 pro 3 Bildern) 
eingeschrieben. 

Dann werden die eingenommenen Endsignale emp- 
fangen und der Blocktransfer beginnt fur jeweils alle 
vier Zeilen. In diesem Blocktransfer werden drei Blocke 
in der Reihenfolge des rechten Bildes, linken Bildes und 
des Distanzverteilungsbildes vom Ergebnis transferiert 
Wahrend dieser Zeitperiode wird die Berechnung des 
Abweichungsbetrages 5 bezuglich eines der Eingabe/ 
Ausgabepufferspeicher durchgefuhrt Nach Abwarten 
einer vorbestimmten Zeit wird, indem die Berechnunjgs- 
zeit fOr den Abweichungsbetrag 5 berucksichtigt wird, 
der TVansfer beziiglich des anderen Eingabe/Ausgabe- 
puf ferspeichers gestartet 

Da <6e Berechnung der city-block Distanz H bezOg- 
lich einer kleinen Region von 4x4 Pbceln eines rechten 
Bildes durchgefuhrt wird, wahrend das linke Bild um 1 00 
Pfacel verschoben wird, wird sie lOOmal durchgefGhrt 
wahrend die dty-block Distanz H einer Region gerade 
berechnet wird, wird ein Abweichungsbetrag 5 der Re- 
gion zuvor als Distanzverteilung nach Unterziehen ver- 
schiedener PrQf vorgSnge ausgegeben. 

Falls die Anzahl von Zeilen, die zu verarbeiten sind, 
200 ist, dann wird die Verarbeitung von vier Zeilen 
50mal wiederholt Aus diesem Grund ist weiterlun eine 
Verarbeitungszeit fOr einen Achtzeilenabschnitt fur cUe 
Gesamtheit der Verarbeitungszeit fiir einen Vierzeilen- 
abschnitt zur Obertragung der Anfangsdaten am Start- 
zeitpunkt der Berechnung und der Verarbeitungszeit 
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far einen Vierzeilenabschnitt zum Obertragen der end- 
gaitigen Ergebnisse nach AbschluB der Berechnung er- 
forderlich. 

Die Zeit vom Beginn des Transfers der ersten Ein- 
gangsbildzeile bis zum Ende des Transfers der endgulti- 
gen Distanzverteilung betrSgt 0,076 s aus den Ergebnis- 
sen eines tatsachlichen Schaltungsbetriebs. 

Die Operation der Strafien- und dreidimensionalen 
Detektorvorrichtung 100 wird nun erlautert Dabei wird 
insbesondere die Operation des Strafiendetektorab- 
schnitts 110 gemaB dem FluBdiagramm der Fig. 31 bis 
34 beschrieben und es wird die Operation des Objekter- 
kennungsabschnitts 120 gemafi dem FluQdiagramm der 
Hg. 35 bis 37 besciirieben. 

Der StraBendetektorabschnitt 110 fOJirt zunachst ei- 
ne StraBenformabsch^tzungsverarbeitung aus. Dabei 
schreitet, wenn ein letzter StraBenfonnparameter (vor 
Ats) im Schritt S201 der Fig. 31 ausgelesen ist, die Ope- 
ration mit Schritt S202 fort um ein Ausgangssignal V 
des Fahrzeuggeschwindigkeitssensors 3 und ein Aus- 
gangssignal T) des Lenkwinkelsensors 4 zu iesen. 

Wenn die Operation mit Schritt S203 fortschreitet, 
wird die Bewegung des Fahrzeugs 1 fur Ats unter Ver- 
wendung des Ausgangssignais V vom Fahrzeugsensor 3 
und des Ausgangssignais vom Lenkwinkelsensor 4 be- 
rechnet, welche im Schritt S202 gelesen wurden, um 
eine StraBenform aus der Sicht der Position des Fahr- 
zeugs 1 nach 'Ats zur Modiftkation der StraBenfonnpa- 
rameter abzuschsltzen. 

1st die oben erwahnte StraBenformabschatzung abge- 
schiossen, springt die Operation zur Verarbeitung der 
Erzeugung des dreidimensionalen Fensters. Wenn die 
Parameter (a, b, c, d) des linearen Elements Ld auf der 
linken Seite des ersten Abschnitts Rl des StraBenmo- 
dells eingelesen werden, wird ein dreidimensionaies 
Fenster WD3A mit dem linearen Element Ld als Zen- 
trum festgelegt 

Danach fahrt die Operation mit Schritt S207 fort, um 
ein zweidimensionales Fenster WD2A auf einem zwei- 
dimensionalen Bild aus dem dreidimensionalen Fenster 
WD3A, das in Schritt S206 gesetzt wurde, festzulegen, 
um mit Schritt S208 fortzufahren und den danachfoigen- 
den SchrittetL 

Die Schritte S20S und S217 befassen sich mit einer 
Linearelementdetektorverarbeitimg. Wenn Daten in- 
nerhalb des zweidlmensionalen Fensters WD2A im 
Schritt S208 gelesen werden, werden die dreidimensio- 
nalen Positionen jeweiliger Daten im Schritt S209 be- 
rechnet Femer werden Daten, wo der Wert u^r Distanz 
Z innerhalb der Lange des dreidimensionalen Fensters 
WD3A liegt, im Schritt S210 selektiert. 

Die Operation schreitet dann mit Schritt S211 fort, 
um das lineare Element Ld der zuvor abgeschatzten 
StraBenform und die dreldunensionalen Positionen ei- 
nes Objekts zu vergleichen, um Abweichungsbetrage 
AX, AY in X- und Y-Richtung zu berechnen. Im Schritt 
S212 werden nur die Daten, wo diese Abweichungsbe- 
trage AX, AY innerhalb des Bereichs der Hdhe und 
Breite des dreidimensionalen Fensters WD3A liegen, 
selektiert und die anderen werden zuruckgewiesen. 

AnschlieBend schreitet die Operation mit Schritt S213 
fort, um die WichtungskoefRzienten der Daten in Ab- 
hangigkeit von den Abweichungsbetrigen AX, AY in X- 
und Y-Richtungen zu bestlmmen, ctie im Schritt S212 
berechnet wurden, um Wichtungskoeffizienten entspre- 
chend den Abweichungsbetr^en AX, AY zu den jewel- 
tigen Daten zu addieren. 

Wenn die Operation zum Schritt S2i4 vorrQckt, wer- 
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den lineare Ausdrucke in einer horizontalen Richtung 
pCZ-£bene) und in einer vertikalen Richtung (YZ-Ebe- 
ne) abgeleitet, indem die Methode der kleinsten Qua- 
drate zur Bestimmung von Pararaetem (a, b, c, d) be- 
5 nutzt wird, welche als Kandidaten fQr ein neues tineares 
Element Ld genommen werden. 

Im Schritt S215 wird untersucht, ob ein Kandidat des 
linearen Elements Ld einer Zeile auf der rechten Seite 
eines StraBenmodells ermittelt ist oder nicht 1st das 
10 Ergebnis nein, werden Parameter des linearen Elements 
Ld auf der rechten Seite eingelesen, um so zum vorher 
beschriebenen Schritt S206 zurfickzugehen. Ist das Er- 
gebenis ja, so schreitet die Operation mit Schritt S217 
fort 

15 Im Schritt S217 wird untersucht, ob der ermittelte 
Kandidat des linearen Elements Ld einer auf der rech- 
ten Seite des Endabschnitts ist Ist das Ergebnis, daB der 
oben erwShnte Kandidat nicht einer des letzten Ab- 
schnitts ist, werden die Parameter des linearen Elements 
20 Ldauf der linken Seite des nachsten Abschnitts eingele- 
sen, um zum zuvor beschriebenen Schritt 8206 zurQck- 
zukehren, um den gleichen Vorgang zu wiederholen. 

Wird demgegen&ber ermittelt, dafi der Kandidat der 
des ermittelten linearen Elements Ld einer der rechten 
25 Seite des Endabschnitts ist, und daB Kandidaten samtli- 
cher linearer Elemente Ld, die ein StraBenmodell dar- 
steUen, ermittelt worden slnd, schreitet die Operation 
vom Schritt S217 auf Schritt S219 fort, und die darauf- 
folgenden, um die StraBenformbeurteilung durchzufilh- 
30 ren. 

Werden die Parameter des linearen Elements Ld des 
ersten Abschnitts Rl im Schritt S219 eingelesen, so wird 
dabei jede Parallelitat in einer horizontalen Richtung 
der rechten und linken linearen Elemente Ld untersucht, 
35 um die Plausibilitat im Schritt S220 zu beurteilten. Fer- 
ner wird jede Parallelitit in vertikaler Richtung des Im- 
ken und rechten linearen Elements Ld untersucht um 
deren Plausibilit&t und Zuverlassigkeit zu beurteilen. 
Danach fahrt die Operation mit Schritt S222 fort Fur 
40 den Fall, daB irgendeines der linken und rechten linea- 
ren Elemente sich als nicht plausibel in Folge dieser 
Beurteilung erweist oder f fir den Fall, daB Daten fehlen, 
well die weiBe Linie auf einer StraBe in Form einer 
unterbrochenen Linie vorliegt oder hinter einem Hin- 
45 demis auBer Sicht gerat, so daB kein Kandidat in den 
linken als auch rechten linearen Eleraenten vorliegt 
wird ein lineares Element auf einer erf aBten Seite einer 
parallelen Verschiebung um die Breite der Fahrzeug- 
fahrbahn unterzogen und wird hierfQr ersetzt wodurch 
50 fehlende lineare Elemente ersetzt erganzt oder kora- 
pensiert werden. Dann schreitet der ProzeB mit Schritt 
S223fort 

Es ist anzumerken, daB fUr den Fall, daB beide linken 
und rechten linearen Elemente nicht existieren, das zu- 
55 vor abgeschatzte lineare Element der StraBenform hier- 
f ur eingesetzt wird 

Ira Schritt S223 wird untersucht ob der entsprechen- 
de Abschnitt der Endabschnitt ist Ist der Abschnitt der 
Endabschnitt so werden Parameter des linken und rech- 
60 ten linearen Elements Ld des nachsten Abschnitts einge- 
lesen, um zum zuvor beschriebenen Schriu S220 zu- 
rOckzugehen. Demgegenflber schreitet im Fall, daB der 
Endabschnitt vorliegt, die Operation von Schritt S223 
mit S224 fort um Parameter jeweiliger linearer Elemen- 
65 te Ld im Schritt S225 in den Speicfaer lOOe einzuschrei- 
ben und so die Verarbdtung abzuschlieBen. 

Die Funktionsweise des Objekterkennungsabschnitts 
120 wird nun beschrieben. Zunachst werden StraBen- 
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formparameter eingelesen, um Objektdetektorverar- 
beitungen im Schritt S301 durchzufOhren. Dann wird ein 
Distanzbild von der Bildverarbeitungsvorrichtung 20 in 
Rasterform im Schritt S302 in Regionen oder Bereiche 
unterteilt und Daten des Anfangsbereichs werden im 
Schritt S303 eingelesen. Die Operation fahrt mit Schritt 
S304 fort, in dem <Ke ersten Daten innerhalb des Be- 
reichs gesetzt werden. Im Schritt S305 werden dreidi- 
mensionalen Positionen (XYZ) des Objekts, d.h. Di- 
stanz und Hohe, berechnet Im Schritt S306 wird die 
Hdhe von der StraBenoberfiache in der Distanz Z be- 
rechnet Im Schritt S307 werden Daten oberhalb der 
StraBenoberfiache selektiert 

Die Operation schreitet dann mit Schritt S308 fort, 
indem untersucht wird, ob in den Enddaten Daten vor- 
liegen oder nicht Sind die gerade gegenwartigen Daten 
nicht die Enddaten, so werden die nachsten Daten inner- 
halb des Bereichs im Schritt S309 gesetzt Danach kehrt 
die Operation zum zuvor beschriebenen Schritt S305 
zuruck, um die Verarbeitung zu wiederholen. Handelt es 
sich jedoch um die Enddaten, so schreitet die Operation 
von Schritt S308 auf Schritt S310 fort 

Die Schritte S310 bis S315 beinhalten eine Objektde- 
tektorverarbeitung. Im Schritt S310 wird ein Histo- 
gramm vorbereitet Im Schritt S31 1 wird ein Abschnitt, 
in dem die Frequenz oder Haufigkeit dieses Histo- 
gramms oberhalb eines Beurteilungswerts liegt und ei- 
nen Maximalwert anzeigt, detektiert Infolgedessen 
wird fur den FaD, daB ein Abschnitt, in dem die Haufig- 
keit des Histogramms uber einem Beurteilungswert 
liegt und einen Maximalwert anzeigt, detektiert worden 
ist, im Schritt S312 geschlossen, daB in diesem Abschnitt 
ein Objekt vorhanden ist, um dann die Distanz bis zu 
diesem Objekt zu bestimmen. 

Im Schritt S313 wird untersucht, ob ein entsprechen- 
der Bereich der Endbereich ist oder nicht Handelt es 
sich bei dem Bereich nicht um den Endbereich, werden 
Daten des nachsten Bereichs im Schritt S314 eingelesen, 
um zum vorbeschriebenen Schritt S304 zuruckzukeh- 
ren, um eine gleiche Verarbeitung fortzusetzen. Handelt 
es sich jedoch beim vorliegenden Bereich um den End- 
bereich. schreitet die Operation mit Schritt S315 fort, 
um die Detektion der Distanzen und vorhandenen Be- 
reiche jeweiliger Objekte zu vervollstandigen, und um 
dann zu den Schritten S316 bis S318 zur Erzeugung des 
dreidimensionalen Fensters vorzurilcken. 

Im Schritt S316 werden die Parameter des ersten Ob- 
jekts gesetzt Dann werden im Schritt S317 die Hohe 
vom unteren Ende des dreidimensionalen Fensters und 
der Distanzbereich festgesetzt Im Schritt S318 wird ei- 
ne zweidimensionale Fensterform WD2B auf der 
Grundlage des dreidimensionalen Fensters WD3B be- 
rechnet Dann wvd mit Schritt S319 fortgefahren. Der 
Schritt S319 und die da rauffolgenden Schritte beinhal- 
ten eine Objektkonturextraktion. Zun§chst werden im 
Schritt S319 Daten innerhalb des zweidimensionaien 
Fensters WD2B ausgelesen. Im Schritt S320 werden 
dreidimensionale Positionen eines Objekts berechnet 
Im Schritt S321 werden innerhalb des dreidimensiona- 
len Fensters WD3B enthaltene Daten selektiert und ex- 
trahiert 

Danach wird mit Schiitt S323 fortgefahren, um im 
Schritt S321 extrahierte Daten auf em zweidimensiona- 
les Bild zu projizieren. Im Schritt S323 werden die je- 
weiligen Daten durch Liniensegmente zur Erstellung 
eines KLonturbildes verbunden. Darauffolgend werden 
im Schritt S324 Form, Ausdehnung, Portion und Ge- 
schwindigkeit eines Objekts berechnet Im Schritt S325 



wird die positionelle Beziehung zwischen einer Fahr- 
bahn, einer StraBe und dem Objekt berechnet 

Im Schritt S326 wird untersucht, ob das entsprechen- 
de Objekt das Endobjekt ist oder nicht Ist das entspre- 

5 chende Objekt nicht das Endobjekt, werden Parameter 
des n&chsten Objekts im Schritt S327 gesetzt, um zum 
zuvor beschriebenen Schritt S317 zurOckzukehren. 
Handelt es skh lungegen bei dem vorliegenden Objekt 
um das Endobjekt, schreitet die Operation mit Schritt 

to S328 fort um Parameter wie die Position, Form, Ge- 
schwmdigkeit und Beschieimigung jeweiliger Objekte 
sowie die Mdglichkeit der Kollision in den Ausgangss- 
peicher lOOe einzuscfareiben, um die Verarbeitung zu 
beenden. 

15 Ein zweites Ausfdhrungsbeispiel der Erfindung wird 
nun unter Bezugnahme auf das FluBdiagramm der 
Fig. 38 eriautert, das die Verarbeitung unter Verwen- 
dung der Hough Transformation beim Berechnen von 
Parametem des linearen Elements der StraBenform 

20 zeigt 

Die Hough Transformation wird im allgemeinen als 
eine Technik angewandt, die imstande ist, einen linearen 
Ausdruck aus einem Bild in stabiier Weise abzuleiten, 
das viel Rauschen enth^t Die linearelementdetektion 

25 ties zweiten Ausfiihrungsbeispiels ist merkmalsmaBig 
unterhalb der Fig. 33 des zuvor beschriebenen ersten 
Ausfuhrungsbeispiels angesiedelt Wenn Daten inner- 
halb des dreidimensionalen Fensters WD3A im Schritt 
S212 selektiert sind, schreitet die Prozedur vom Schritt 

30 S212 mit Schritt S214 fort, um die Hough Transforma- 
tion bezuglich der Beziehungsdaten X und Z zur Ablei- 
tung eines linearen Ausdrucks in der horizontalen Rich- 
tung (XZ-Ebene) der hdchstmdglichen Genauigkeit aus- 
zufuhren, um darauffolgend die Hough-Transformation 

35 bezuglich der Beziehung zwischen Daten Y und Z aus- 
zufilhren, um einen linearen Ausdruck in einer vertika- 
len Richtung (YZ-Ebene) abzuleiten. Jeweilige Parame- 
ter a, b, d des linearen Ausdrucks werden auf diese 
Weise bestinunt So schreitet die Verarbeitungsproze- 

40 dur zum zuvor beschriebenen Schritt S215 fort wobei 
die obigen Parameter den neuen Kandidaten bilden. Die 
ubrige Verarbeitung entspricht der des zuvor beschrie- 
benen ersten Ausfuhrungsbeispiels. 

W§hrend in der vorliegenden Erfindung das dreidi- 

45 mensionale Fenster WD3A so eingestellt wird, daB hier- 
bei Daten auBer fur weiBe linien ausgeschlossen wer- 
den, besteht hier, falls ein Stein oder anderer Fremdk5r- 
per unmittelbar auf einer weiBen Linie im Fall des zuvor 
beschriebenen ersten AusfQhrungsbeispiels zum Be- 
so stimmen eines linearen Ausdrucks diux^h die Methode 
der kleinsten Quadrate liegt, die Mdglichkeit daB die 
Erfassungsgenauigkeit fur die weiBe Linie infolge des 
Einflusses hiervon herabgesetzt ist Wird jedoch dUe 
Hough Transformation wie im zweiten AusfQhrungsbei- 

55 spiel verwendet, so wird ermdglicht, einen linearen Aus- 
druck stabii und zuverl^ssig abzuleiten. 

Die Fig. 39 zeigt ein drittes AusfQhrungsbeispiel der 
Erfindung, in dem die zuvor beschriebene StraBen- und 
dreidimensionale Objektdetektorvorrichtung 100 des 

60 ersten Atisfiihrungsbeispiels so aufgebaut wird wie eine 
StraBen/Hindemisdetektorvorrichtung 200, der eine 
Beurteilungsfunktion fQr ein Hindenus hinzugefOgt ist 

Dabei ist die StraBen/HUndemisdetektorvorrichtung 
200 explizit aus dem zuvor beschriebenen StraBende- 

65 tektorabschnitt 1 10 des ersten AusfQhrungsbeispiels, ei- 
nem Hindemisdetektorabschnitt 210 und einem Stra- 
Ben/Hindemisparameterspeicherabschnitt 130 aufge- 
baut tier einen Ausgangsspeicher lOOe enthllt Der Hin- 
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demisdetektorabschnitt 210 weist einen Aufbau auf, bei 
dem ein Hindemisbeurteilungsabschnitt 124 die Funk- 
tion einer Objektunterscheidungseinrichtung aufweist, 
urn die Art von Objekten aus den Abmessungen und der 
Position eines Konturbildes eines detektierten Objektes 5 
zu unterscheiden, wobei ein solcher Abschnitt 124 zu- 
satzlich innerhalb des Objekterkennungsabschnitts 120 
enthalten ist 

Der Hindernisbeurteilungsabschnitt 124 ennittelt aus 
den Abmessungen und der Fahrgeschwindigkeit usw. 10 
jeweilige Objekte, die im Objektkonturbildextraktions- 
abschnitt detektiert sind* um welche Objekte es sich 
handelt Sind beispielsweise die seidiche Ausdehnung 
und Hdhe jeweils groBer als etwa 2 m, kann davon aus- 
gegangen werden, daB es sich bei dem Objekt um einen 15 
Lastkraftwagen handelt Betragt darflber hinaus die 
seitliche Ausdehnung 13 bis 2,0 m und liegt die Hdhe 
auf einem Wert unter 2 m, kann davon ausgegangen 
werden, daB das Objekt ein Personenkraftwagen ist. 

Ist femer die seidiche Ausdehnung 0^ bis 1,0 m und 20 
liegt die Hohe unter 2 m, so kann davon ausgegangen 
werden, daB das Objekt ein motorgetriebenes Zweirad 
Oder ein FuBganger ist In diesem Fall kann ferner ge- 
schlossen werden, wenn die Geschwindigkeit fiber 
20km/h liegt, daB das Objekt ein motorgetriebenes 25 
Zweirad ist Femer ist es auch moglich, ein Objekt de- 
taillierter zu unterscheiden bzw. zu klassifizieren, indem 
das Verhaltnis der seitlichen Ausdehnung und Hdhe ei- 
nes Konturbildes benutzt wird oder das Verhaltnis zi- 
schen der Hdhe der Gesamtheit eines Konturbildes und 30 
der Hdhe eines Mittelpunktes dessen Bereichs usw. 

Im StraBen/Hindemisparameterspeicher 130 wird ein 
Parameter einer Art eines Objekts, das im Hindemisbe- 
urteilimgsabschnitt 124 beurteiit wurde, zusatzlich zu 
den Parametem wie Position, Form oder Geschwindig- 35 
keit usw. jeweiliger Objekte gespeichert, die im Objekt- 
konturbildextraktionsabschnitt 123 erfaBt worden sind. 

Im dritten AusfQhrungsbeispiel ist eine Vorrichtung 
vorgesehen, die dazu ausgelegt ist, eine Kollision mit 
einem Hindemis vorherzusagen, um einen Alarm fur 40 
den Fahrer auszuldsen oder die Bremsung oder Len- 
kung entsprediend zu steuem, um so automatisch eine 
Kollision zu vermeiden. Eine solche Vorrichtung. ist an 
die Vorricditung dieses AusfOhrungsbeispiels ange- 
schlossen, um hierdurch zu ermdglicben, daB nicht nur 45 
die Information der Position oder Geschwindigkeit ei- 
nes vorliegenden Huidemisses prSzisiert vorhergesagt 
wird, sondem auch der Zustand in einigen Sekunden. 

Beispielsweise Eegt eine hohe Wahrschemlichkeit 
vor, daB ein FuBganger pldtzlidi seine oder ihre Bewe- 50 
gungsrichtung Sndert Andererseits ist die Wahrschein- 
lichkeit, daB ein Auto seine Geschwindigkeit oder Rich- 
tung andert, gering. Wenn solche aktuellen UmstSnde 
bei der Vorrichtung des dritten Ausfuhrungsbelspiels 
mit in Betracht gez<^en werden, so wird es moglich, die 55 
Art und Weise der Bewegung eines Objekts genauer 
vorherzusagen. 

PatentansprQdie 

60 

1. Einrichtung zum Uberwachen des AuBenraumes 
eines Fahrzeugs, das fiber eine Fahrspur auf einer 
StraBe fahrt, die durch ausgedehnte weiBe Linien 
definiert ist, aufweisend: 

mehrere Kameras (10), die Bilder des Fahrzeugau- 55 
Benraums aufnehmen und BUdsignale erzeugen, die 
diese Bilder anzelgen; und 

eine Bildverarbeitungseinrichtung (20), die abhan- 



gig von den Blldsignalen eine Distanzverteilung be- 
zuglich des Fahrzeugs ermittelt, dadnrch gek nn- 
zeichnet, 

daB die Bildverarbeitungseinrichtung (20) ein diese 
Distanzverteilung anzeigendes Distanzbild er- 
zeugt, 

daB eine StraBen- und Objekt-Detektoreinrichtung 
(100) vorgesehen ist, die auf der Grundlage des Di- 
stanzbildes dreidimensionale Koordinatendaten (X, 
Y, Z, Di) in einem auf em Koordinatensystem des 
Fahrzeugs bezogenen realen Raum berechnet, und 
daB erne StraBenverlaufsform-Detektoreinrichtung 
(110) vorgesehen ist, die erne StraBenverlaufsform 
auf der Grundlage der dreidimensionalen Koordi- 
natendaten von Abschnitten der weiBen Linien be- 
rechnet 

2. Einnchtung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB die StraBenverlaufsform- Detektor- 
einrichtung (110) dazu ausgelegt ist, mehrere drei- 
dimensionale lineare Elemente (Ld) zu ermitteln, 
die jeweils einen Abschnitt jeder weiBen Linie in- 
nerhalb einer von mehreren Regionen (RO . . . R6) 
der StraBe reprSsentieren, die bezogen auf die Di- 
stanz vom Fahrzeug aufgeteilt sind, wobei jede 
weiBe Linie durch die Kombination der dreidimen- 
sionalen linearen Elemente dargestellt ist 

3. Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet, daB jedes der dreidimensionalen linearen 
Elemente (Ld) durch Parameter linearer Gleichun- 
gen reprasentiert wird, die die Projektion jedes 
dreidimensionalen linearen Elements auf eine hori- 
zontale Ebene und eine vertikale Ebene reprasen- 
tieren. 

4. Einrichtung nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die StraBenverlaufsform- Detektor- 
einrichtung (1 10) ferner aufweist: 

eine Abschatzungseinrichtung (111), die abhSngig 
von Fahrzeugfahrbedingungen die Anderung der 
dreidimensionalen linearen Elemente (Ld) aus de* 
ren vorausgehenden Posttionen abschgtzt; 
eine erste Erzeugungseinrichtung (1 12) f Or ein drei- 
dimensionales Fenster, die einen dreidimensionalen 
Raum um jedes der abgeschatzten dreidimensiona- 
len linearen Elemente als erstes dreidimensionales 
Fenster (WD3A) festlegt; und 
eine IJnearelement-Detektoremrichtung (113), (Oe 
aus den dreidimensionalen Koordinatendaten nur 
Koordinatendaten extrahiert, die mnerhalb des er- 
sten dreidimensionalen Fensters (WD3A) liegen, 
und die gegenwartige Position des dreidimensiona- 
ien linearen Elements auf der Grundlage der extra- 
hierten Koordinatendaten berechnet 

5. Einrichtung nach Anspruch 4, dadurch gekenn- 
zeichnet, daB die Linearelement-Detektoreinrich- 
tung (113) aufweist: 

eine Einrichtung zur DurchfQhrung der Koordina- 
tentransformation des ersten dreidimensionalen 
Fensters (WD3A) auf ein erstes zweidimensionales 
Fenster (WD2A); und 

eine Einrichtung, die aus den dreidimensionalen 
Koordinatendaten vorab nur Koordinatendaten 
auswahit die innerhalb des ersten zweidimensiona- 
len Fensters (WD2A) Kegen, wobei diese ausge- 
wahlten Koordinatendaten zur Ermitdtmg der ge- 
genwartigen Positionen der dreidimensionalen li- 
nearen Elemente verarbeitet werden. 

6. Einrichtung nach Anspruch 4, dadurch gekenn- 
zeichnet, daB die Linearelement-Detekt reinrich- 
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tung (1 13) aufweist : 

eine Einrichtung ziir Berechnung von Abwei- 
chungsbetragen (AXi» AYi) der extrahierten Koor- 
dinatendaten in der horizontalen Richtung und der 
vertikalen Richtung bezuglich jedem der abge- 5 
schatzten dreidimensionalen linearen Elemente 

(Ld); 

eine Einrichtung zum Festlegen von Wichtungsko- 
effizienten abhSngig von diesen Abweichungsbe- 
tragen, mit denen die entsprechenden extrahierten 10 
Koordinatendaten multipliziert werden; und 
eine Einrichtung zur Berechnung der gegenwarti- 
gen Positionen der dreidimensionalen linearen Ele- 
mente aus den multiplizierten Koordinatendaten 
mittels der Methode der kieinsten Quadrate. 15 
7. Einiichtung nach Anspruch 4, dadurch gekenn- 
zeichnet, dafi die Linearelement-Detektoreinrich- 
tung (113) dazu ausgelegt ist, die gegenwSrtigen 
Positionen der dreidimensionalen linearen Elemen- 
te (Ld) durch eine Hough-Transformation zu be- 20 
rechnen. 

& Einriditung nach Anspruch 4, dadurch gekenn- 
zeichnet, daB die StraBenverlaufsform-Detektor- 
einrichtung (1 10) femer umf aBt : 
eine Beurteilungseinrichtung (114), die beurteilt, ob 25 
die gegenwartigen Positionen der dreidimensiona- 
len linearen Elemente (Ld), die jeweils innerhalb 
einer der aufgeteilten Regionen eine linke und 
rechte weiBe Linie anzeigen, im wesentlichen paral- 
lel zueinander sind, und die die dreidimensionalen 30 
linearen Elemente modif iziert, wenn ermittelt wird, 
daB beide nicht im wesentlichen parallel zueinan- 
der sind 

9. Einrichtung nach einem der vorhergehenden An- 
spruche, femer gekennzeichnet durch eine Objekt- 35 
erkennungseinrichtung (120), die ein auf der StraBe 
vorhandenes Objekt, das dadurch charakterisiert 
ist, daB es vertikale Koordinaten aufweist, die um 
einen vorbestimmten Betrag hoher als die der aus- 
gedehnten weiBen Linien sind, erkennt 40 

10. Einrichtung nach Anspruch 9, dadurch gekenn- 
zeichnet, daB die Objekterkennungseinrichtung 
(120) aufweist: 

eine Objektdetektoreinrichtung (121) zur Untertei- 
lung des Distanzbildes in mehrere Bereiche, zur 45 
Selektion von Daten mit vertikalen Koordinaten 
innerhalb eines hSheren Bereichs als dem der wei- 
Ben Linien aus den dreidimensionalen Koordina- 
tendaten fur jeden Unterteilungsbereich, ziur De- 
tektion, daB, wenn eine Anzahl von Daten inner- 50 
halb der selektierten Daten Distanzkoordinaten 
umfaBt, die in einem speziellen Distanzbereich ent- 
halten sind, und diese Anzahl von Daten grdBer als 
ein Beurteilungswert ist, ein Teil eines Objekts in 
diesem speziellen Distanzbereich vorhanden ist, 55 
und zur Ermittlimg des Objekts auf der Grundlage 
einer Differenz zwischen der Distanz zu diesem 
Teil des Objekts und der in den angrenzenden Un- 
terteilungsbereichen jeweils detektierten Distanz. 

1 1. Einrichtung nach Anspruch 10, dadurch gekenn- 60 
zeichnet^ daB die Objekterkennimgseinrichtung 
(120) femer umfaBt: 

♦eine zweite Erzeugungseinrichtung (122) fflr ein 
dreidimensionales Fenster (WD3B) zur Festlegung 
eines dreidimensionalen Raumes, der das gesamte 65 
Objekt umfaBt, als zweites dreidimeosionaies Fen- 
ster (WD3B); und 

eine Objektkontur-Biidextraktionseinricfatung 
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(123) zur Extraktion nur von Koordinatendaten. die 
innerhalb des zweiten dreidimensionalen Fensters 
(WD3B) liegen, aus den dreidimensionalen Koordi- 
natendaten und zur lieferung eines Konturbildes 
des Objekts auf der Grundlage der extrahierten 
Koordinatendaten, wobei eine dreidimensionale 
Position des Objekts auf der StraBe ermittelt wird. 
IZ Emrichtung nach Anspruch 1 1, dadurch gekenn- 
zeichnet. daB die Objektkontur-Bild«ctraktionsein- 
richtung (123) aufweist: 

eine Einrichtung zur Ausfiihrung der Koordinaten- 
transformation des zweiten dreidimensionalen 
Fensters (WD3B) auf ein zweites zwddimensiona- 
les Fenster (WD2B); und 

eine Einrichtung, die vorab aus den dreidimensio- 
nalen Koordinatendaten nur Koordinatendaten 
auswahlt, ^e innerhalb des zweiten zweidimensio- 
nalen Fensters (WD2B) liegen, wobei diese ausge- 
wShlten Koorc&iatendaten zur lieferung des Kon- 
turbildes vom Objekt verarbeitet werden. 
13. Einrichtung nach Anspmch 1 1, dadurch gekenn- 
zeichnet, daB die Objektkontur-Bildextraktionsein- 
richtung (123) femer aufweist: 
eine Einrichtung zur Berechnimg einer mittleren 
Position zwischen dem rechten und linken Ende des 
Konturbildes und zur Berechnung von einem die- 
Bewegung des Objekts relativ zum Fahrzeug be- 
zQglich der mittleren Position anzeigenden Para- 
meter. 
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